Overview page

Table showing the ERT in number of evaluations divided by the best ERT of the reference algorithm

Last dimension | Dimension = 2 | Next dimension

Δ fopt
f1, 2-D		 1e1
2.0		 1e0
6.0		 1e-1
6.0		 1e-2
6.0		 1e-3
6.0		 1e-5
6.0		 1e-7
6.0		 #succ
15/15
BIRMIN Kudela 0.93 (0.5)2.1 (1)3.8 (2)6.8 (4)26 (43)716 (1353)3115 (8334)12/15
DIRECT-REV Kudela 1.5 (1)2.0 (1)3.2 (0.5)3.6 (0.6)★3.6 (0.8)★25.3 (2)6.1 (2)15/15
E-WOA Espinoza 1.6 (2)6.9 (6)49 (48)95 (58)183 (102)388 (147)668 (264)15/15
I-DBDP-GL Kudela 0.93 (0.5)1.7 (1)4.7 (3)13 (3)22 (10)61 (14)116 (18)15/15
WOA Espinoza 1.6 (2)6.5 (6)27 (23)50 (32)95 (52)532 (221)985 (687)12/15
a-CMA-ES Gissler 1.3 (1)2.3 (2)7.0 (3)11 (4)17 (5)27 (6)36 (7)15/15
ad-CMA-ES Gissler 1.7 (1)2.8 (2)6.3 (3)11 (6)17 (6)25 (6)38 (4)15/15
adm-CMA-ES Gissler 1.7 (2)3.3 (2)7.1 (3)13 (7)17 (5)28 (5)39 (7)15/15
c-CMA-ES Gissler 1.4 (1)2.6 (2)7.2 (3)13 (3)18 (5)28 (6)37 (11)15/15
cd-CMA-ES Gissler 1.6 (1)2.6 (2)6.7 (4)13 (4)16 (5)29 (5)39 (5)15/15
cdm-CMA-ES Gissler 2.1 (2)3.0 (4)8.1 (5)13 (7)19 (8)30 (4)41 (6)15/15
cma-bp-bbob Brockhoff 1.7 (1)3.7 (3)8.2 (5)12 (6)17 (6)26 (9)36 (6)15/15
cma-bt-bbob Brockhoff 2.7 (2)2.9 (1)7.2 (4)13 (5)17 (7)27 (6)38 (11)15/15
d-CMA-ES Gissler 1.3 (0.8)2.9 (3)6.4 (4)11 (6)17 (5)29 (6)40 (5)15/15
default-CMA-ES Gissler 1.9 (2)2.6 (2)6.2 (3)11 (5)16 (4)26 (4)36 (6)15/15
dm-CMA-ES Gissler 1.8 (2)2.6 (2)7.7 (5)11 (6)16 (5)27 (6)40 (6)15/15
m-SDWOA Espinoza 1.6 (2)7.5 (6)40 (33)120 (37)189 (58)370 (66)607 (72)15/15
s-CMA-ES Gissler 1.6 (1)2.4 (2)6.3 (5)10 (5)15 (7)25 (7)35 (6)15/15
sc-CMA-ES Gissler 1.8 (2)2.3 (2)6.6 (4)11 (5)16 (7)26 (6)37 (9)15/15
scd-CMA-ES Gissler 1.3 (1)2.6 (2)5.7 (4)12 (4)16 (4)27 (5)36 (5)15/15
scdm-CMA-ES Gissler 2.2 (2)2.7 (2)6.7 (3)11 (3)16 (5)26 (5)38 (6)15/15
sd-CMA-ES Gissler 1.7 (2)2.7 (3)6.5 (4)10 (5)15 (4)27 (4)37 (8)15/15
sdm-CMA-ES Gissler 1.8 (2)3.3 (2)7.9 (4)12 (2)17 (4)25 (6)35 (6)15/15

Δ fopt
f2, 2-D		 1e1
16		 1e0
19		 1e-1
25		 1e-2
25		 1e-3
26		 1e-5
28		 1e-7
29		 #succ
15/15
BIRMIN Kudela 3.1 (2)2.8 (2)2.6 (1)3.1 (1)3.3 (1)3.5 (1)3.8 (1)15/15
DIRECT-REV Kudela 1.5 (0.6)★1.5 (0.6)★1.7 (0.8)2.1 (0.7)2.4 (0.7)2.7 (0.5)3.1 (0.7)14/15
E-WOA Espinoza 188 (148)195 (143)207 (56)239 (55)258 (78)295 (64)339 (51)15/15
I-DBDP-GL Kudela 22 (8)27 (12)28 (14)43 (13)54 (13)68 (16)101 (28)15/15
WOA Espinoza 597 (998)3096 (3790)1.1e4 (1e4)1.1e4 (9800)1.1e4 (1e4)1.0e4 (9286)1.0e4 (7759)0/15
a-CMA-ES Gissler 8.8 (4)10 (4)9.3 (3)11 (2)11 (2)12 (2)14 (2)15/15
ad-CMA-ES Gissler 7.9 (6)10 (5)9.3 (3)11 (3)12 (3)13 (3)15 (3)15/15
adm-CMA-ES Gissler 8.0 (6)12 (4)10 (3)11 (2)13 (2)14 (2)16 (2)15/15
c-CMA-ES Gissler 8.9 (7)11 (6)11 (3)12 (3)12 (3)14 (3)15 (3)15/15
cd-CMA-ES Gissler 6.2 (3)9.5 (6)9.1 (4)10 (3)11 (4)13 (2)15 (3)15/15
cdm-CMA-ES Gissler 9.3 (7)11 (4)10 (3)12 (3)12 (3)15 (3)16 (2)15/15
cma-bp-bbob Brockhoff 9.1 (5)12 (6)11 (4)12 (3)13 (4)14 (3)16 (3)15/15
cma-bt-bbob Brockhoff 8.3 (6)13 (5)11 (3)12 (2)13 (3)14 (2)16 (2)15/15
d-CMA-ES Gissler 12 (6)13 (3)11 (2)13 (2)13 (3)14 (2)16 (2)15/15
default-CMA-ES Gissler 7.0 (5)10 (5)10 (2)11 (2)12 (2)13 (2)15 (1)15/15
dm-CMA-ES Gissler 8.3 (5)10 (6)10 (3)11 (4)12 (3)14 (3)15 (3)15/15
m-SDWOA Espinoza 42 (18)68 (19)76 (25)99 (23)121 (13)153 (28)193 (13)15/15
s-CMA-ES Gissler 6.5 (6)12 (4)11 (3)12 (3)12 (3)13 (3)15 (3)15/15
sc-CMA-ES Gissler 8.0 (6)13 (6)12 (4)13 (4)14 (3)14 (4)16 (3)15/15
scd-CMA-ES Gissler 8.9 (4)13 (4)11 (4)13 (3)13 (3)14 (4)16 (4)15/15
scdm-CMA-ES Gissler 8.6 (8)13 (6)11 (4)12 (3)13 (3)15 (3)16 (3)15/15
sd-CMA-ES Gissler 9.5 (6)11 (7)10 (4)11 (3)12 (3)13 (3)15 (3)15/15
sdm-CMA-ES Gissler 9.0 (8)14 (5)11 (4)13 (3)13 (2)14 (2)16 (3)15/15

Δ fopt
f3, 2-D		 1e1
15		 1e0
271		 1e-1
445		 1e-2
446		 1e-3
450		 1e-5
454		 1e-7
464		 #succ
15/15
BIRMIN Kudela 1.7 (1)0.61 (0.5)0.82 (0.4)0.98 (0.8)1.1 (1)17 (45)79 (108)11/15
DIRECT-REV Kudela 1.7 (2)0.85 (0.8)1.4 (1.0)1.4 (1.0)1.4 (1.0)1.4 (1.0)1.4 (0.9)15/15
E-WOA Espinoza 5.9 (9)7.0 (4)10 (8)13 (8)15 (8)19 (9)22 (10)14/15
I-DBDP-GL Kudela 1.9 (1)1.0 (0.6)0.87 (0.4)1.3 (0.3)1.7 (0.2)2.8 (0.5)4.4 (0.7)15/15
WOA Espinoza 5.1 (7)13 (13)28 (45)31 (36)41 (45)70 (47)145 (141)0/15
a-CMA-ES Gissler 2.5 (2)2.9 (3)5.8 (4)7.3 (7)7.9 (8)8.2 (9)8.4 (9)15/15
ad-CMA-ES Gissler 1.8 (1)2.4 (3)6.7 (12)7.6 (15)7.9 (16)8.2 (17)8.3 (17)15/15
adm-CMA-ES Gissler 2.7 (2)2.4 (2)4.8 (4)5.0 (4)5.2 (4)5.4 (4)5.5 (4)15/15
c-CMA-ES Gissler 2.6 (2)2.5 (4)6.1 (7)7.2 (7)7.3 (8)8.1 (8)8.2 (8)15/15
cd-CMA-ES Gissler 2.1 (2)4.1 (4)7.5 (6)9.1 (8)9.3 (9)10 (9)10 (9)15/15
cdm-CMA-ES Gissler 2.4 (2)4.6 (4)4.7 (3)5.0 (4)5.0 (4)5.3 (4)5.4 (4)15/15
cma-bp-bbob Brockhoff 2.4 (2)3.8 (3)7.5 (5)10 (15)10 (16)10 (17)10 (16)14/15
cma-bt-bbob Brockhoff 5.7 (2)4.5 (4)6.8 (7)8.1 (8)9.1 (9)10 (9)10 (9)14/15
d-CMA-ES Gissler 1.9 (0.9)2.0 (2)7.7 (7)8.1 (8)8.1 (8)8.7 (8)9.1 (8)15/15
default-CMA-ES Gissler 1.9 (1)2.4 (3)4.9 (4)5.7 (5)6.2 (5)6.5 (5)6.6 (5)15/15
dm-CMA-ES Gissler 3.2 (4)4.7 (6)9.3 (11)10 (15)11 (15)11 (15)11 (15)15/15
m-SDWOA Espinoza 5.9 (7)5.5 (5)8.1 (3)12 (4)15 (3)19 (2)21 (2)15/15
s-CMA-ES Gissler 3.1 (3)2.3 (2)5.6 (6)6.0 (7)6.1 (7)6.4 (7)6.5 (7)15/15
sc-CMA-ES Gissler 2.4 (2)4.8 (6)5.7 (6)7.1 (8)7.2 (8)7.5 (8)7.5 (8)15/15
scd-CMA-ES Gissler 3.6 (4)5.1 (6)6.1 (4)8.7 (4)9.1 (4)9.3 (4)10 (4)15/15
scdm-CMA-ES Gissler 2.1 (1)2.1 (3)4.8 (5)5.4 (5)5.7 (5)6.0 (5)6.1 (5)15/15
sd-CMA-ES Gissler 3.5 (2)2.1 (3)4.0 (3)4.2 (3)4.7 (4)4.9 (4)5.1 (4)15/15
sdm-CMA-ES Gissler 2.4 (2)2.1 (2)7.7 (12)9.4 (13)10 (13)10 (13)11 (13)15/15

Δ fopt
f4, 2-D		 1e1
22		 1e0
344		 1e-1
459		 1e-2
496		 1e-3
523		 1e-5
544		 1e-7
566		 #succ
15/15
BIRMIN Kudela 1.6 (1)0.70 (0.8)1.3 (1)2.2 (4)2.2 (4)12 (23)89 (265)10/15
DIRECT-REV Kudela 1.4 (1)0.72 (0.8)1.2 (1)1.2 (1)1.1 (1)1.1 (1.0)1.1 (1.0)15/15
E-WOA Espinoza 11 (10)8.9 (5)31 (38)32 (29)32 (26)39 (24)46 (40)8/15
I-DBDP-GL Kudela 1.7 (0.8)1.1 (0.7)1.3 (1.0)1.6 (1)1.9 (0.8)3.0 (1)4.2 (0.9)15/15
WOA Espinoza 7.8 (6)18 (37)58 (77)71 (94)69 (55)97 (148)517 (592)0/15
a-CMA-ES Gissler 3.3 (2)5.1 (5)54 (43)81 (105)91 (120)99 (121)101 (125)15/15
ad-CMA-ES Gissler 1.6 (0.9)10 (16)104 (106)247 (331)372 (552)370 (585)360 (506)10/15
adm-CMA-ES Gissler 1.5 (1)7.2 (11)76 (99)179 (278)227 (289)234 (281)242 (338)14/15
c-CMA-ES Gissler 1.8 (1)4.4 (5)57 (50)123 (197)129 (211)143 (228)143 (232)15/15
cd-CMA-ES Gissler 1.8 (1)9.0 (10)60 (96)204 (296)351 (525)350 (460)342 (275)10/15
cdm-CMA-ES Gissler 1.5 (0.9)5.8 (11)55 (86)93 (103)101 (106)109 (116)116 (126)15/15
cma-bp-bbob Brockhoff 1.9 (1)3.8 (5)105 (135)140 (107)134 (161)175 (142)254 (370)1/15
cma-bt-bbob Brockhoff 2.2 (2)8.9 (11)52 (40)77 (108)119 (128)116 (119)112 (87)4/15
d-CMA-ES Gissler 2.3 (1)6.1 (6)70 (93)262 (284)294 (372)307 (370)302 (264)12/15
default-CMA-ES Gissler 1.9 (1)6.1 (9)34 (30)123 (218)147 (236)157 (250)160 (260)15/15
dm-CMA-ES Gissler 2.3 (2)6.9 (10)32 (36)115 (191)213 (243)235 (278)239 (295)14/15
m-SDWOA Espinoza 7.4 (6)6.1 (3)8.7 (5)14 (3)16 (2)18 (2)20 (2)15/15
s-CMA-ES Gissler 1.5 (1)6.5 (5)61 (76)100 (103)109 (117)121 (115)123 (120)15/15
sc-CMA-ES Gissler 2.8 (2)8.9 (10)54 (48)93 (113)98 (129)106 (126)107 (131)15/15
scd-CMA-ES Gissler 1.8 (0.9)8.8 (10)86 (79)179 (278)242 (511)262 (372)256 (387)11/15
scdm-CMA-ES Gissler 2.7 (2)5.3 (5)45 (57)88 (88)125 (206)138 (237)143 (243)15/15
sd-CMA-ES Gissler 1.6 (1)5.3 (11)77 (98)202 (192)285 (281)337 (250)331 (402)11/15
sdm-CMA-ES Gissler 2.4 (1)8.3 (10)61 (57)135 (116)167 (228)192 (262)199 (276)15/15

Δ fopt
f5, 2-D		 1e1
4.0		 1e0
4.0		 1e-1
4.0		 1e-2
4.0		 1e-3
4.0		 1e-5
4.0		 1e-7
4.0		 #succ
15/15
BIRMIN Kudela 4.6 (1)11 (3)13 (3)16 (4)17 (4)17 (4)∞1e50/15
DIRECT-REV Kudela 4.8 (0)10 (0)10 (0)14 (0)15 (0)16 (0)∞1e50/15
E-WOA Espinoza 8.1 (9)39 (21)48 (27)48 (27)48 (27)48 (27)48 (27)15/15
I-DBDP-GL Kudela 2.9 (0.1)29 (0.4)82 (0.6)167 (0.9)331 (2)692 (4)1283 (6)15/15
WOA Espinoza 8.1 (9)37 (15)42 (15)42 (15)42 (15)42 (15)42 (15)15/15
a-CMA-ES Gissler 3.1 (1)6.9 (4)7.1 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)15/15
ad-CMA-ES Gissler 4.5 (3)7.0 (5)7.2 (5)7.2 (5)7.2 (5)7.2 (5)7.2 (5)15/15
adm-CMA-ES Gissler 3.8 (2)7.0 (5)7.7 (5)7.8 (5)7.8 (5)7.8 (5)7.8 (5)15/15
c-CMA-ES Gissler 3.5 (2)6.7 (3)7.1 (4)7.1 (4)7.1 (4)7.1 (4)7.1 (4)15/15
cd-CMA-ES Gissler 3.0 (1)6.3 (4)7.3 (5)7.3 (5)7.3 (5)7.3 (5)7.3 (5)15/15
cdm-CMA-ES Gissler 3.2 (2)6.4 (3)6.5 (3)6.5 (3)6.5 (3)6.5 (3)6.5 (3)15/15
cma-bp-bbob Brockhoff 3.3 (2)10 (13)12 (13)13 (14)13 (14)13 (14)13 (14)15/15
cma-bt-bbob Brockhoff 3.8 (2)15 (9)23 (7)32 (8)39 (8)53 (13)69 (10)15/15
d-CMA-ES Gissler 3.3 (2)6.5 (2)7.0 (3)7.2 (3)7.2 (3)7.2 (3)7.2 (3)15/15
default-CMA-ES Gissler 3.2 (2)6.0 (4)6.2 (5)6.2 (5)6.2 (5)6.2 (5)6.2 (5)15/15
dm-CMA-ES Gissler 4.0 (3)7.2 (4)7.7 (4)7.8 (4)7.8 (4)7.8 (4)7.8 (4)15/15
m-SDWOA Espinoza 8.1 (9)61 (38)78 (24)78 (24)78 (24)78 (24)78 (24)15/15
s-CMA-ES Gissler 3.9 (1)8.1 (5)8.7 (5)8.8 (4)9.0 (6)9.0 (6)9.0 (6)15/15
sc-CMA-ES Gissler 3.2 (2)7.2 (6)8.0 (6)8.0 (6)8.0 (6)8.0 (6)8.0 (6)15/15
scd-CMA-ES Gissler 3.1 (2)6.5 (4)7.1 (3)7.1 (3)7.2 (3)7.2 (3)7.2 (3)15/15
scdm-CMA-ES Gissler 3.2 (2)6.1 (3)7.0 (3)7.0 (3)7.0 (3)7.0 (3)7.0 (3)15/15
sd-CMA-ES Gissler 3.3 (2)7.5 (2)7.8 (2)7.8 (2)7.8 (2)7.8 (2)7.8 (2)15/15
sdm-CMA-ES Gissler 3.6 (2)7.9 (9)8.2 (9)8.2 (9)8.2 (9)8.2 (9)8.2 (9)15/15

Δ fopt
f6, 2-D		 1e1
13		 1e0
23		 1e-1
41		 1e-2
54		 1e-3
67		 1e-5
95		 1e-7
124		 #succ
15/15
BIRMIN Kudela 1.6 (2)2.3 (1)1.7 (0.5)1.5 (0.5)1.3 (0.4)1.2 (0.4)1.1 (0.4)15/15
DIRECT-REV Kudela 2.0 (2)2.3 (0.8)1.5 (0.3)1.3 (0.4)1.2 (0.4)1.2 (0.5)1.1 (0.4)15/15
E-WOA Espinoza 3.3 (3)12 (17)40 (35)92 (96)269 (275)285 (216)307 (374)6/15
I-DBDP-GL Kudela 1.3 (1)2.7 (1)4.0 (2)6.0 (3)8.0 (3)13 (3)18 (3)15/15
WOA Espinoza 3.0 (3)8.2 (7)17 (15)39 (50)125 (154)271 (316)690 (833)3/15
a-CMA-ES Gissler 1.7 (2)3.0 (1)2.8 (2)3.5 (2)3.6 (1)3.8 (0.6)3.8 (0.7)15/15
ad-CMA-ES Gissler 2.0 (2)3.0 (1)3.2 (1)3.3 (1)3.7 (0.9)3.6 (0.6)3.7 (0.6)15/15
adm-CMA-ES Gissler 1.6 (2)3.3 (2)3.6 (1)3.7 (1.0)3.7 (0.7)3.8 (0.6)3.7 (0.4)15/15
c-CMA-ES Gissler 1.5 (2)3.2 (2)3.3 (1)3.4 (1)3.5 (1)3.7 (0.8)3.7 (0.6)15/15
cd-CMA-ES Gissler 1.7 (2)3.2 (2)3.0 (2)3.3 (2)3.8 (0.9)3.9 (1)3.8 (0.7)15/15
cdm-CMA-ES Gissler 1.8 (2)3.4 (2)3.5 (2)4.0 (1.0)3.9 (0.9)4.1 (0.6)4.0 (0.7)15/15
cma-bp-bbob Brockhoff 1.4 (2)3.3 (2)3.0 (1)3.3 (2)3.6 (1)3.8 (0.6)3.8 (0.5)15/15
cma-bt-bbob Brockhoff 2.5 (2)3.9 (2)3.2 (1)4.0 (1)3.9 (1)3.8 (0.7)4.0 (0.5)15/15
d-CMA-ES Gissler 1.7 (2)2.6 (2)3.0 (1)3.2 (1)3.6 (0.8)3.5 (0.6)3.7 (0.6)15/15
default-CMA-ES Gissler 1.8 (2)4.0 (3)3.4 (2)3.7 (1)3.9 (0.9)3.8 (0.7)3.9 (0.4)15/15
dm-CMA-ES Gissler 1.3 (1)3.2 (2)3.5 (1)3.7 (0.9)4.0 (1)3.8 (0.7)3.9 (0.6)15/15
m-SDWOA Espinoza 3.3 (3)10 (7)18 (14)31 (14)42 (9)50 (6)55 (9)15/15
s-CMA-ES Gissler 1.7 (2)3.2 (2)3.2 (1)3.3 (0.6)3.7 (1)3.9 (0.9)3.7 (0.9)15/15
sc-CMA-ES Gissler 1.4 (1)3.5 (3)3.1 (2)3.2 (1)3.7 (1)3.8 (1)3.9 (0.8)15/15
scd-CMA-ES Gissler 1.5 (2)3.1 (2)3.1 (1)3.7 (1)3.9 (1)3.8 (0.8)3.7 (0.9)15/15
scdm-CMA-ES Gissler 0.98 (0.8)2.2 (1)3.0 (2)3.1 (1)3.7 (1)3.6 (0.6)3.7 (0.8)15/15
sd-CMA-ES Gissler 1.7 (1)3.3 (2)3.1 (2)3.5 (1)3.6 (1)3.9 (0.9)3.8 (0.6)15/15
sdm-CMA-ES Gissler 2.2 (3)3.0 (1)3.3 (2)3.4 (1.0)3.5 (1)3.6 (0.8)3.7 (0.6)15/15

Δ fopt
f7, 2-D		 1e1
3.0		 1e0
21		 1e-1
60		 1e-2
193		 1e-3
217		 1e-5
217		 1e-7
241		 #succ
15/15
BIRMIN Kudela 3.2 (2)2.0 (2)2.3 (2)1.4 (1)2.1 (3)2.1 (3)3.1 (3)15/15
DIRECT-REV Kudela 2.2 (2)1.6 (1)1.5 (0.7)0.86 (0.4)1.0 (0.4)1.0 (0.4)1.4 (0.6)15/15
E-WOA Espinoza 6.9 (5)8.9 (11)53 (113)33 (45)44 (47)44 (47)45 (83)12/15
I-DBDP-GL Kudela 2.7 (2)1.9 (2)2.3 (1)1.1 (1)1.2 (1)1.2 (1)1.6 (0.9)15/15
WOA Espinoza 6.9 (5)29 (14)79 (176)47 (55)52 (53)52 (93)49 (46)10/15
a-CMA-ES Gissler 1.5 (2)1.4 (2)1.1 (1)0.59 (0.5)0.64 (0.5)0.64 (0.5)0.81 (0.6)15/15
ad-CMA-ES Gissler 2.7 (5)2.8 (5)2.1 (2)0.96 (0.8)0.94 (0.6)0.94 (0.6)0.92 (0.6)15/15
adm-CMA-ES Gissler 3.1 (4)1.7 (1)1.7 (2)0.67 (0.5)0.66 (0.4)0.66 (0.4)0.71 (0.5)15/15
c-CMA-ES Gissler 2.6 (4)2.3 (2)2.7 (3)0.98 (0.9)1.1 (0.7)1.1 (0.7)1.1 (0.7)15/15
cd-CMA-ES Gissler 2.0 (2)1.5 (1)2.3 (2)0.96 (0.8)0.94 (0.6)0.94 (0.6)1.0 (0.6)15/15
cdm-CMA-ES Gissler 2.0 (2)1.6 (1.0)2.1 (1)0.79 (0.5)0.82 (0.6)0.82 (0.6)0.89 (0.4)15/15
cma-bp-bbob Brockhoff 4.3 (4)2.5 (3)1.8 (1)0.77 (0.4)0.83 (0.5)0.83 (0.5)0.91 (0.8)15/15
cma-bt-bbob Brockhoff 3.0 (3)3.1 (3)2.7 (3)1.1 (1)1.1 (1)1.1 (1)1.1 (1)15/15
d-CMA-ES Gissler 2.9 (3)2.2 (2)2.0 (1)0.81 (0.3)0.81 (0.4)0.81 (0.4)0.87 (0.3)15/15
default-CMA-ES Gissler 3.1 (3)2.3 (2)2.0 (2)0.79 (0.6)0.83 (0.6)0.83 (0.6)0.89 (0.5)15/15
dm-CMA-ES Gissler 3.1 (4)2.5 (2)2.0 (2)0.84 (0.6)0.93 (0.8)0.93 (0.8)0.96 (0.8)15/15
m-SDWOA Espinoza 6.9 (5)7.1 (7)9.4 (5)5.4 (3)6.5 (2)6.5 (2)7.3 (1)15/15
s-CMA-ES Gissler 2.7 (3)1.6 (1)1.6 (2)0.72 (0.5)0.81 (0.5)0.81 (0.5)1.1 (0.9)15/15
sc-CMA-ES Gissler 3.0 (4)2.6 (3)1.7 (1)1.00 (0.6)0.98 (0.5)0.98 (0.5)1.0 (0.6)15/15
scd-CMA-ES Gissler 2.7 (3)1.7 (1)2.3 (2)1.0 (0.6)1.1 (0.8)1.1 (0.8)1.3 (0.8)15/15
scdm-CMA-ES Gissler 2.7 (3)1.2 (2)1.7 (1)0.74 (0.4)0.79 (0.3)0.79 (0.3)0.90 (0.7)15/15
sd-CMA-ES Gissler 2.4 (3)2.1 (2)1.9 (1)0.75 (0.4)0.80 (0.5)0.80 (0.5)0.89 (0.7)15/15
sdm-CMA-ES Gissler 1.8 (3)1.3 (1.0)1.5 (1)0.62 (0.4)↑10.78 (0.6)0.78 (0.6)0.85 (0.6)15/15

Δ fopt
f8, 2-D		 1e1
5.0		 1e0
12		 1e-1
37		 1e-2
46		 1e-3
86		 1e-5
94		 1e-7
112		 #succ
15/15
BIRMIN Kudela 3.9 (4)4.0 (4)2.0 (2)2.0 (1)1.1 (0.6)1.1 (0.6)0.97 (0.5)15/15
DIRECT-REV Kudela 1.4 (1)2.7 (3)1.9 (0.8)1.8 (0.7)1.0 (0.3)1.0 (0.3)0.91 (0.3)15/15
E-WOA Espinoza 7.3 (8)29 (32)26 (23)37 (26)26 (17)37 (13)43 (13)15/15
I-DBDP-GL Kudela 4.7 (5)6.6 (5)6.8 (5)10 (4)8.1 (4)13 (6)20 (4)15/15
WOA Espinoza 7.5 (8)16 (22)10 (6)18 (9)26 (9)76 (113)192 (220)5/15
a-CMA-ES Gissler 3.5 (3)4.3 (5)6.0 (5)6.9 (4)4.2 (2)4.5 (2)4.3 (2)15/15
ad-CMA-ES Gissler 2.6 (3)4.5 (3)4.7 (3)5.4 (2)3.4 (1)3.9 (1)3.9 (0.9)15/15
adm-CMA-ES Gissler 2.3 (2)6.1 (9)5.5 (4)6.8 (3)4.2 (2)4.5 (2)4.4 (1)15/15
c-CMA-ES Gissler 3.3 (3)7.2 (7)6.1 (4)7.0 (4)4.2 (2)4.5 (2)4.2 (2)15/15
cd-CMA-ES Gissler 3.4 (4)5.4 (6)5.2 (4)6.4 (5)4.0 (2)4.3 (2)4.3 (2)15/15
cdm-CMA-ES Gissler 3.7 (4)6.5 (6)5.2 (4)6.1 (4)3.7 (3)4.2 (2)4.1 (2)15/15
cma-bp-bbob Brockhoff 5.3 (10)8.2 (17)6.6 (8)6.7 (6)4.0 (3)4.4 (3)4.3 (2)15/15
cma-bt-bbob Brockhoff 3.2 (3)7.9 (12)5.9 (6)6.8 (5)4.4 (3)4.8 (2)4.6 (2)15/15
d-CMA-ES Gissler 3.3 (3)8.4 (12)6.0 (6)7.3 (4)4.4 (2)4.8 (2)4.7 (1)15/15
default-CMA-ES Gissler 3.5 (5)11 (20)7.4 (8)7.1 (7)4.3 (4)4.7 (4)4.4 (3)15/15
dm-CMA-ES Gissler 3.7 (5)9.2 (12)7.0 (6)7.8 (5)4.6 (3)4.9 (3)4.7 (2)15/15
m-SDWOA Espinoza 9.0 (8)21 (19)23 (9)34 (18)34 (10)49 (12)53 (9)15/15
s-CMA-ES Gissler 4.3 (5)9.3 (18)7.6 (8)8.1 (6)4.9 (3)5.2 (3)4.7 (3)15/15
sc-CMA-ES Gissler 3.2 (4)6.3 (8)5.7 (6)6.1 (4)4.1 (2)4.3 (2)4.2 (2)15/15
scd-CMA-ES Gissler 6.9 (11)17 (25)10 (10)11 (7)6.3 (4)6.3 (3)5.9 (3)15/15
scdm-CMA-ES Gissler 4.0 (4)9.0 (14)6.5 (6)7.1 (6)4.5 (3)4.7 (3)4.4 (2)15/15
sd-CMA-ES Gissler 3.7 (6)5.2 (3)5.9 (5)6.8 (5)4.0 (3)4.3 (2)4.2 (2)15/15
sdm-CMA-ES Gissler 3.1 (4)8.7 (13)6.6 (7)7.9 (5)4.6 (3)4.8 (2)4.6 (2)15/15

Δ fopt
f9, 2-D		 1e1
1		 1e0
18		 1e-1
30		 1e-2
44		 1e-3
68		 1e-5
81		 1e-7
92		 #succ
15/15
BIRMIN Kudela 17 (16)3.6 (2)3.4 (1)2.7 (0.9)1.9 (0.5)1.6 (0.5)1.5 (0.4)15/15
DIRECT-REV Kudela 1 (0)1.6 (1.0)1.6 (0.9)1.5 (0.5)★1.1 (0.3)★21.00 (0.3)★20.91 (0.2)★215/15
E-WOA Espinoza 49 (32)14 (13)44 (65)99 (97)181 (164)359 (432)486 (659)5/15
I-DBDP-GL Kudela 22 (18)4.6 (2)7.1 (2)10 (4)10 (5)21 (9)33 (10)15/15
WOA Espinoza 49 (32)105 (345)473 (670)556 (587)617 (671)1644 (1227)3109 (3261)0/15
a-CMA-ES Gissler 1 (0)4.5 (6)7.8 (6)7.0 (5)5.1 (3)5.1 (2)5.2 (2)15/15
ad-CMA-ES Gissler 1 (0)2.1 (2)5.5 (4)5.7 (2)4.3 (1)4.4 (1)4.6 (0.9)15/15
adm-CMA-ES Gissler 1 (0)2.5 (2)5.2 (5)5.3 (3)3.9 (2)4.2 (2)4.4 (1)15/15
c-CMA-ES Gissler 1 (0)3.7 (5)6.7 (6)6.5 (5)5.1 (2)5.0 (2)5.2 (2)15/15
cd-CMA-ES Gissler 1 (0)2.4 (2)4.9 (5)6.2 (4)4.5 (2)4.5 (2)4.8 (2)15/15
cdm-CMA-ES Gissler 1 (0)3.4 (2)5.0 (4)5.5 (3)4.3 (2)4.6 (2)4.6 (1)15/15
cma-bp-bbob Brockhoff 1 (0)4.6 (7)8.1 (7)7.4 (4)5.4 (3)5.4 (3)5.6 (2)15/15
cma-bt-bbob Brockhoff 1 (0)2.5 (2)7.0 (4)6.1 (3)4.7 (2)4.7 (2)4.7 (1)15/15
d-CMA-ES Gissler 1 (0)3.8 (5)6.3 (5)6.5 (3)4.9 (2)4.8 (2)5.0 (1)15/15
default-CMA-ES Gissler 1 (0)3.5 (5)7.3 (5)6.9 (3)5.1 (2)5.2 (2)5.2 (1)15/15
dm-CMA-ES Gissler 1 (0)2.1 (2)4.7 (3)5.0 (2)3.9 (1)4.1 (0.9)4.3 (1)15/15
m-SDWOA Espinoza 43 (32)12 (11)17 (10)36 (13)38 (8)51 (12)60 (6)15/15
s-CMA-ES Gissler 1 (0)4.0 (3)5.6 (5)6.0 (4)4.6 (3)4.6 (2)4.6 (2)15/15
sc-CMA-ES Gissler 1 (0)2.4 (1)4.3 (4)5.9 (4)4.5 (3)4.5 (2)4.6 (2)15/15
scd-CMA-ES Gissler 1 (0)3.6 (3)5.4 (8)5.5 (6)4.6 (4)4.6 (3)4.7 (3)15/15
scdm-CMA-ES Gissler 1 (0)4.4 (5)6.6 (5)6.5 (3)4.9 (2)4.9 (2)4.8 (2)15/15
sd-CMA-ES Gissler 1 (0)3.2 (3)7.0 (4)6.9 (4)5.0 (3)4.9 (2)5.0 (2)15/15
sdm-CMA-ES Gissler 1 (0)2.9 (4)6.7 (6)6.3 (5)4.8 (3)4.8 (2)4.8 (2)15/15

Δ fopt
f10, 2-D		 1e1
30		 1e0
46		 1e-1
54		 1e-2
61		 1e-3
68		 1e-5
82		 1e-7
98		 #succ
15/15
BIRMIN Kudela 1.2 (0.6)1.0 (0.5)1.1 (0.5)1.1 (0.4)1.1 (0.4)267 (590)7139 (9187)1/15
DIRECT-REV Kudela 0.92 (0.3)0.97 (0.4)0.93 (0.4)0.94 (0.2)1.2 (1)65 (169)1137 (1228)5/15
E-WOA Espinoza 118 (201)565 (547)598 (843)534 (667)491 (671)553 (426)483 (613)5/15
I-DBDP-GL Kudela 13 (10)24 (19)52 (36)66 (43)85 (47)115 (48)150 (50)15/15
WOA Espinoza 283 (389)730 (951)1563 (2407)2228 (1803)4295 (4118)∞∞2e40/15
a-CMA-ES Gissler 3.6 (2)4.3 (2)4.3 (1)4.3 (1)4.3 (0.9)4.3 (0.7)4.2 (0.8)15/15
ad-CMA-ES Gissler 3.6 (3)4.3 (2)4.2 (1)4.4 (0.6)4.3 (0.7)4.5 (0.8)4.4 (0.5)15/15
adm-CMA-ES Gissler 5.4 (3)5.1 (1)4.8 (0.7)4.7 (0.7)4.7 (0.6)4.7 (0.5)4.6 (0.4)15/15
c-CMA-ES Gissler 4.7 (2)4.7 (0.9)4.4 (0.7)4.5 (0.8)4.6 (0.8)4.5 (0.6)4.4 (0.6)15/15
cd-CMA-ES Gissler 5.3 (3)5.3 (1)4.9 (0.8)5.0 (1)5.0 (1.0)4.9 (0.8)4.8 (0.6)15/15
cdm-CMA-ES Gissler 3.7 (2)4.4 (2)4.8 (1.0)4.8 (0.6)4.8 (0.9)4.7 (0.5)4.6 (0.3)15/15
cma-bp-bbob Brockhoff 3.9 (3)4.1 (2)4.5 (2)4.5 (2)4.5 (1)4.4 (0.9)4.2 (0.8)15/15
cma-bt-bbob Brockhoff 6.4 (5)8.1 (15)7.9 (12)7.7 (10)7.3 (9)6.7 (8)6.2 (6)15/15
d-CMA-ES Gissler 3.8 (3)3.7 (2)4.5 (0.9)4.4 (0.9)4.5 (0.9)4.5 (0.6)4.5 (0.7)15/15
default-CMA-ES Gissler 4.9 (4)4.8 (2)4.7 (2)4.7 (1)4.7 (1)4.7 (1.0)4.5 (0.7)15/15
dm-CMA-ES Gissler 5.4 (2)5.0 (2)4.8 (1)4.9 (1)4.8 (1)4.7 (1)4.7 (0.9)15/15
m-SDWOA Espinoza 24 (11)25 (16)41 (11)47 (7)52 (6)58 (4)64 (6)15/15
s-CMA-ES Gissler 5.4 (3)5.2 (2)4.9 (1)4.8 (1)4.7 (1)4.7 (0.9)4.5 (0.5)15/15
sc-CMA-ES Gissler 4.6 (3)4.7 (3)4.8 (2)4.8 (1)5.0 (1)4.9 (1)4.5 (0.9)15/15
scd-CMA-ES Gissler 4.7 (4)4.5 (2)4.9 (1)4.8 (2)4.7 (1)4.6 (1)4.4 (1)15/15
scdm-CMA-ES Gissler 5.3 (4)5.6 (2)5.5 (2)5.5 (1)5.2 (1)5.1 (1.0)4.8 (0.9)15/15
sd-CMA-ES Gissler 3.9 (2)5.0 (1)4.8 (1.0)4.8 (1)4.8 (1)4.7 (0.6)4.5 (0.7)15/15
sdm-CMA-ES Gissler 5.6 (3)4.7 (2)4.6 (2)4.9 (1)4.7 (0.9)4.6 (0.9)4.5 (0.9)15/15

Δ fopt
f11, 2-D		 1e1
35		 1e0
45		 1e-1
50		 1e-2
62		 1e-3
67		 1e-5
81		 1e-7
97		 #succ
15/15
BIRMIN Kudela 1.0 (0.4)1.1 (0.5)1.1 (0.3)1.0 (0.2)1.0 (0.2)62 (121)2837 (2835)2/15
DIRECT-REV Kudela 0.78 (0.4)0.96 (0.5)1.1 (0.4)0.95 (0.3)0.96 (0.3)95 (261)690 (1545)3/15
E-WOA Espinoza 45 (43)158 (227)288 (270)282 (407)269 (230)236 (145)212 (319)9/15
I-DBDP-GL Kudela 11 (16)30 (28)52 (46)73 (58)94 (59)126 (76)171 (122)15/15
WOA Espinoza 109 (284)285 (296)572 (632)976 (1557)4259 (5000)∞∞2e40/15
a-CMA-ES Gissler 3.3 (2)3.9 (2)4.8 (1)4.2 (0.6)4.4 (0.5)4.2 (0.7)4.3 (0.4)15/15
ad-CMA-ES Gissler 3.4 (2)4.3 (1)4.3 (1)4.2 (0.6)4.3 (0.7)4.3 (0.6)4.3 (0.5)15/15
adm-CMA-ES Gissler 4.0 (3)4.3 (2)4.8 (1)4.5 (0.8)4.7 (1.0)4.6 (0.6)4.6 (0.6)15/15
c-CMA-ES Gissler 4.5 (4)5.5 (2)5.4 (2)4.9 (2)4.9 (1)4.8 (1)4.7 (0.9)15/15
cd-CMA-ES Gissler 4.2 (3)4.6 (2)5.1 (2)4.7 (1)4.7 (1)4.7 (1)4.6 (0.7)15/15
cdm-CMA-ES Gissler 3.5 (2)4.9 (2)5.0 (1)4.6 (0.9)4.7 (0.9)4.6 (0.8)4.6 (0.8)15/15
cma-bp-bbob Brockhoff 5.0 (2)5.7 (2)5.7 (2)5.3 (2)5.2 (1)5.3 (1)5.0 (0.9)15/15
cma-bt-bbob Brockhoff 5.1 (3)7.0 (10)7.5 (9)6.7 (7)6.7 (6)6.4 (5)5.9 (4)15/15
d-CMA-ES Gissler 4.3 (3)5.0 (2)5.1 (2)4.5 (2)4.8 (1)4.7 (1)4.7 (0.8)15/15
default-CMA-ES Gissler 3.1 (2)3.7 (1)4.4 (2)4.5 (1)4.8 (0.8)4.6 (0.7)4.5 (0.7)15/15
dm-CMA-ES Gissler 3.0 (3)4.3 (2)5.0 (0.8)4.6 (0.9)4.7 (0.7)4.6 (0.7)4.6 (0.6)15/15
m-SDWOA Espinoza 19 (12)28 (17)41 (10)45 (9)51 (7)59 (7)64 (4)15/15
s-CMA-ES Gissler 3.8 (3)4.7 (2)5.1 (1)4.6 (1)4.7 (1)4.6 (1)4.4 (0.9)15/15
sc-CMA-ES Gissler 5.5 (3)5.9 (2)5.8 (2)5.1 (1)5.3 (0.8)5.0 (0.9)4.8 (0.8)15/15
scd-CMA-ES Gissler 3.1 (2)4.7 (2)5.3 (2)4.9 (2)4.9 (1)4.9 (1)4.7 (0.8)15/15
scdm-CMA-ES Gissler 3.6 (2)4.5 (2)5.1 (2)4.6 (1)5.1 (0.8)4.7 (0.7)4.7 (0.6)15/15
sd-CMA-ES Gissler 3.2 (3)4.2 (2)4.9 (2)4.6 (1)4.6 (1)4.4 (0.6)4.4 (0.5)15/15
sdm-CMA-ES Gissler 3.3 (2)4.4 (2)5.0 (1)4.5 (0.9)4.4 (1)4.3 (1)4.4 (0.6)15/15

Δ fopt
f12, 2-D		 1e1
35		 1e0
46		 1e-1
75		 1e-2
94		 1e-3
105		 1e-5
153		 1e-7
195		 #succ
15/15
BIRMIN Kudela 2.1 (1)2.9 (4)2.5 (4)2.4 (4)2.3 (3)223 (483)771 (1026)5/15
DIRECT-REV Kudela 1.3 (0.7)1.6 (1)1.5 (1)1.4 (2)1.4 (2)66 (108)294 (513)6/15
E-WOA Espinoza 137 (286)281 (401)355 (285)485 (610)449 (337)323 (424)331 (408)4/15
I-DBDP-GL Kudela 14 (8)36 (12)30 (12)37 (27)57 (25)67 (28)103 (51)15/15
WOA Espinoza 221 (289)438 (606)3788 (3933)3032 (3191)2714 (2714)1869 (1895)∞2e40/15
a-CMA-ES Gissler 6.1 (3)7.2 (2)7.8 (6)8.2 (8)8.2 (8)7.2 (8)6.7 (7)15/15
ad-CMA-ES Gissler 3.7 (2)7.7 (11)8.7 (12)9.1 (12)8.9 (12)7.7 (10)7.2 (9)15/15
adm-CMA-ES Gissler 4.5 (3)7.2 (6)5.8 (4)5.4 (4)5.7 (4)4.9 (3)4.6 (3)15/15
c-CMA-ES Gissler 5.8 (3)8.1 (2)8.1 (8)8.3 (10)8.2 (10)7.4 (9)6.9 (9)15/15
cd-CMA-ES Gissler 6.0 (4)7.5 (5)5.7 (3)5.2 (3)5.1 (3)4.2 (3)3.8 (2)15/15
cdm-CMA-ES Gissler 3.6 (3)6.9 (7)8.7 (11)8.8 (13)8.7 (12)8.8 (10)13 (18)15/15
cma-bp-bbob Brockhoff 5.3 (3)10 (20)12 (18)14 (16)14 (15)12 (12)12 (11)15/15
cma-bt-bbob Brockhoff 4.1 (2)6.8 (9)7.7 (9)8.9 (8)9.0 (8)8.4 (7)8.0 (7)15/15
d-CMA-ES Gissler 3.9 (3)4.1 (3)4.8 (4)5.6 (5)6.0 (5)5.9 (6)5.8 (6)15/15
default-CMA-ES Gissler 4.5 (3)6.5 (2)6.1 (4)6.6 (4)6.9 (4)6.7 (4)6.1 (4)15/15
dm-CMA-ES Gissler 4.6 (3)6.8 (3)6.9 (5)7.0 (6)7.2 (5)6.5 (6)7.5 (5)15/15
m-SDWOA Espinoza 19 (10)32 (10)35 (19)46 (16)48 (12)46 (13)44 (9)15/15
s-CMA-ES Gissler 4.4 (3)6.6 (3)6.5 (3)6.7 (6)6.9 (6)6.3 (6)6.0 (6)15/15
sc-CMA-ES Gissler 5.9 (6)10 (15)10 (13)10 (12)10 (12)8.2 (11)7.4 (10)15/15
scd-CMA-ES Gissler 6.8 (3)12 (17)12 (19)13 (19)12 (18)11 (15)10 (12)15/15
scdm-CMA-ES Gissler 8.0 (7)12 (11)12 (12)14 (13)13 (12)14 (11)13 (10)15/15
sd-CMA-ES Gissler 10 (20)16 (29)15 (25)15 (23)14 (21)12 (17)11 (14)15/15
sdm-CMA-ES Gissler 3.4 (3)6.9 (5)6.3 (4)6.5 (6)6.7 (5)6.2 (6)5.8 (6)15/15

Δ fopt
f13, 2-D		 1e1
23		 1e0
35		 1e-1
46		 1e-2
60		 1e-3
71		 1e-5
95		 1e-7
122		 #succ
15/15
BIRMIN Kudela 1.7 (0.8)1.7 (0.7)1.5 (0.5)1.3 (0.4)1.2 (0.4)2266 (3422)∞1e50/15
DIRECT-REV Kudela 1.2 (0.7)1.3 (0.3)1.2 (0.3)1.7 (0.2)1.6 (0.3)794 (663)∞1e50/15
E-WOA Espinoza 8.8 (4)60 (52)314 (447)342 (386)647 (650)670 (903)741 (820)3/15
I-DBDP-GL Kudela 3.3 (2)11 (10)21 (9)39 (17)58 (35)157 (62)282 (182)15/15
WOA Espinoza 7.8 (3)396 (1005)525 (437)1030 (1079)1973 (2113)∞∞2e40/15
a-CMA-ES Gissler 2.4 (2)3.4 (2)3.5 (1)4.0 (0.8)4.3 (0.8)4.3 (0.6)4.2 (0.6)15/15
ad-CMA-ES Gissler 2.4 (2)3.7 (2)3.9 (0.8)4.0 (0.7)4.2 (0.8)4.3 (0.6)4.4 (0.4)15/15
adm-CMA-ES Gissler 2.7 (2)3.6 (1)3.8 (0.9)3.8 (0.7)4.1 (0.5)4.3 (0.4)4.3 (0.5)15/15
c-CMA-ES Gissler 2.7 (3)3.5 (1)3.8 (0.7)3.9 (0.9)4.0 (0.6)4.4 (0.6)4.3 (0.5)15/15
cd-CMA-ES Gissler 2.3 (1)3.6 (1)4.4 (0.9)4.4 (0.9)4.6 (1)4.6 (0.9)4.6 (0.7)15/15
cdm-CMA-ES Gissler 2.7 (2)3.7 (1)4.3 (2)4.2 (1)4.7 (0.7)4.7 (0.8)4.5 (0.6)15/15
cma-bp-bbob Brockhoff 2.7 (1)3.3 (0.7)3.6 (1)4.0 (0.7)4.0 (0.8)4.2 (0.5)4.4 (0.4)15/15
cma-bt-bbob Brockhoff 3.2 (2)4.6 (1)4.8 (0.7)4.7 (1.0)4.5 (0.6)4.5 (0.9)4.6 (0.6)15/15
d-CMA-ES Gissler 2.6 (1)3.7 (2)4.0 (1)4.0 (0.8)4.3 (0.9)4.3 (0.6)4.4 (0.4)15/15
default-CMA-ES Gissler 2.8 (1)4.3 (2)4.3 (2)4.5 (1)4.6 (1)4.4 (0.7)4.4 (0.9)15/15
dm-CMA-ES Gissler 2.8 (2)3.7 (1)4.0 (1)4.2 (0.8)4.3 (0.5)4.4 (0.6)4.4 (0.3)15/15
m-SDWOA Espinoza 11 (7)24 (11)40 (10)47 (11)56 (7)64 (6)67 (6)15/15
s-CMA-ES Gissler 2.7 (2)3.8 (2)3.8 (2)3.5 (1)3.9 (1)4.2 (0.7)4.0 (0.6)15/15
sc-CMA-ES Gissler 2.4 (2)3.8 (2)4.3 (0.9)4.4 (0.7)4.4 (1.0)4.3 (0.6)4.5 (0.7)15/15
scd-CMA-ES Gissler 2.0 (2)3.9 (2)4.3 (1)4.1 (1)4.3 (1)4.4 (0.7)4.3 (0.7)15/15
scdm-CMA-ES Gissler 2.2 (2)4.2 (2)4.4 (2)4.3 (1)4.7 (0.8)4.6 (0.8)4.6 (0.7)15/15
sd-CMA-ES Gissler 3.5 (3)4.2 (2)4.4 (1)4.3 (1)4.5 (0.8)4.5 (0.5)4.3 (0.6)15/15
sdm-CMA-ES Gissler 1.7 (2)3.4 (1)4.0 (2)3.9 (1)4.1 (1)4.3 (0.8)4.2 (0.8)15/15

Δ fopt
f14, 2-D		 1e1
1		 1e0
7.0		 1e-1
16		 1e-2
24		 1e-3
38		 1e-5
67		 1e-7
90		 #succ
15/15
BIRMIN Kudela 1.6 (0.5)1.9 (1)1.9 (0.8)7.2 (8)9.0 (9)420 (882)7224 (1e4)1/15
DIRECT-REV Kudela 2.2 (1)2.1 (2)2.0 (1)2.0 (0.9)1.6 (0.6)1.2 (0.2)3156 (3889)2/15
E-WOA Espinoza 1.9 (1)3.1 (2)11 (8)65 (93)336 (279)314 (615)262 (347)8/15
I-DBDP-GL Kudela 1.6 (0.5)1.6 (1)2.5 (2)6.6 (3)11 (5)31 (11)85 (54)15/15
WOA Espinoza 1.9 (1)3.1 (2)12 (10)45 (13)378 (551)939 (1415)3230 (4056)0/15
a-CMA-ES Gissler 1.9 (2)2.1 (2)3.4 (2)3.8 (1)4.2 (1)4.0 (2)4.2 (0.8)15/15
ad-CMA-ES Gissler 1.9 (2)1.9 (1)2.9 (2)4.2 (2)3.7 (1)3.9 (0.9)4.7 (1)15/15
adm-CMA-ES Gissler 2.0 (2)1.9 (3)3.5 (2)4.0 (1)4.4 (2)4.4 (0.7)4.7 (0.9)15/15
c-CMA-ES Gissler 1.6 (1)1.5 (2)2.3 (2)3.9 (2)4.1 (1)4.4 (2)5.0 (0.9)15/15
cd-CMA-ES Gissler 1.9 (2)2.2 (3)3.5 (2)4.7 (2)4.2 (1)4.7 (1)5.1 (1.0)15/15
cdm-CMA-ES Gissler 1.9 (2)1.5 (1)3.3 (2)4.3 (2)4.5 (2)4.4 (1)4.8 (0.9)15/15
cma-bp-bbob Brockhoff 2.4 (3)1.9 (2)2.7 (2)3.7 (2)4.0 (1)4.1 (0.9)4.5 (0.6)15/15
cma-bt-bbob Brockhoff 3.2 (3)2.2 (2)3.6 (2)4.0 (3)4.3 (2)4.6 (0.9)4.6 (0.7)15/15
d-CMA-ES Gissler 1.9 (2)2.0 (2)3.6 (2)4.2 (2)3.8 (1)4.4 (0.9)4.5 (0.6)15/15
default-CMA-ES Gissler 1.7 (2)1.5 (2)2.8 (2)3.8 (2)4.4 (2)4.4 (1)4.7 (0.8)15/15
dm-CMA-ES Gissler 1.8 (2)2.2 (2)3.4 (1)4.6 (1)4.4 (1)4.7 (0.8)4.7 (0.6)15/15
m-SDWOA Espinoza 1.9 (1)3.1 (2)21 (17)37 (12)43 (11)55 (7)62 (5)15/15
s-CMA-ES Gissler 2.2 (2)1.9 (2)2.9 (2)3.7 (2)4.0 (1)4.3 (1)4.5 (1)15/15
sc-CMA-ES Gissler 1.9 (2)1.6 (1)2.3 (2)3.9 (2)4.2 (1)4.5 (1)5.1 (1)15/15
scd-CMA-ES Gissler 2.4 (3)2.5 (3)3.2 (2)4.4 (2)4.1 (1)4.4 (1.0)4.9 (0.8)15/15
scdm-CMA-ES Gissler 1.7 (1)1.8 (3)3.5 (1)4.1 (1)4.2 (1)4.5 (1)4.8 (1)15/15
sd-CMA-ES Gissler 2.1 (2)2.1 (2)2.5 (1)4.1 (0.9)3.8 (0.9)3.8 (1)4.7 (1.0)15/15
sdm-CMA-ES Gissler 2.7 (3)1.9 (2)3.4 (1)4.2 (1)4.0 (1)4.2 (0.8)4.5 (0.6)15/15

Δ fopt
f15, 2-D		 1e1
37		 1e0
291		 1e-1
1033		 1e-2
1066		 1e-3
1113		 1e-5
1231		 1e-7
1412		 #succ
15/15
BIRMIN Kudela 0.76 (0.7)1.3 (1)0.75 (0.6)0.76 (0.6)0.81 (0.7)7.9 (15)18 (36)12/15
DIRECT-REV Kudela 1.1 (0.9)0.67 (0.4)0.47 (0.3)↑10.46 (0.3)↑10.44 (0.3)↑10.41 (0.3)↑10.36 (0.2)↑015/15
E-WOA Espinoza 3.5 (6)14 (13)33 (35)33 (43)33 (30)33 (23)46 (46)4/15
I-DBDP-GL Kudela 1.2 (1)1.8 (1)0.76 (0.4)0.91 (0.4)1.1 (0.4)1.5 (0.5)1.7 (0.5)15/15
WOA Espinoza 3.0 (2)30 (35)25 (39)25 (34)26 (45)36 (40)63 (49)2/15
a-CMA-ES Gissler 3.1 (8)3.7 (3)2.0 (1)2.0 (1)2.0 (1)1.9 (1)1.8 (1)15/15
ad-CMA-ES Gissler 1.2 (0.9)1.7 (2)1.9 (2)1.9 (2)1.9 (2)1.9 (2)1.7 (1)15/15
adm-CMA-ES Gissler 0.87 (0.9)1.9 (2)1.3 (1.0)1.6 (2)1.6 (2)1.5 (2)1.4 (1)15/15
c-CMA-ES Gissler 0.84 (0.6)4.0 (3)1.8 (1)2.0 (2)2.0 (2)1.9 (1)1.7 (1)15/15
cd-CMA-ES Gissler 1.0 (0.8)2.9 (3)1.8 (2)1.9 (2)1.9 (2)1.8 (2)1.7 (1)15/15
cdm-CMA-ES Gissler 1.1 (1)2.2 (2)1.9 (2)1.9 (2)1.9 (2)1.8 (2)1.7 (2)15/15
cma-bp-bbob Brockhoff 0.85 (0.7)2.4 (3)3.5 (6)3.7 (6)3.7 (6)4.5 (7)4.0 (7)14/15
cma-bt-bbob Brockhoff 1.0 (0.7)3.1 (3)2.7 (2)2.9 (2)2.9 (2)2.7 (2)2.5 (2)15/15
d-CMA-ES Gissler 1.0 (0.9)1.8 (3)2.1 (2)2.1 (2)2.1 (2)2.0 (2)1.9 (2)15/15
default-CMA-ES Gissler 0.99 (0.7)2.4 (3)2.4 (3)2.7 (3)2.7 (3)2.6 (3)2.4 (3)15/15
dm-CMA-ES Gissler 1.1 (0.8)2.3 (2)1.9 (2)2.2 (1)2.2 (1)2.1 (2)2.0 (1)15/15
m-SDWOA Espinoza 3.4 (4)5.0 (3)3.6 (3)6.0 (2)7.2 (1)7.9 (1)7.8 (0.8)15/15
s-CMA-ES Gissler 0.95 (0.8)2.0 (1)2.2 (2)2.3 (2)2.3 (2)2.1 (1)2.0 (1)15/15
sc-CMA-ES Gissler 2.0 (0.6)2.1 (2)2.1 (1)2.9 (3)2.9 (3)2.7 (2)2.5 (2)15/15
scd-CMA-ES Gissler 0.74 (0.6)3.7 (4)3.7 (3)3.8 (3)3.8 (3)3.5 (3)3.2 (2)15/15
scdm-CMA-ES Gissler 1.0 (1)3.4 (3)3.1 (3)3.5 (3)3.4 (3)3.2 (3)2.9 (2)15/15
sd-CMA-ES Gissler 0.99 (0.9)1.6 (2)2.0 (2)1.9 (2)2.0 (2)1.9 (2)1.7 (2)15/15
sdm-CMA-ES Gissler 1.3 (1.0)3.5 (3)1.6 (0.6)1.7 (0.8)1.7 (0.7)1.6 (0.7)1.5 (0.6)15/15

Δ fopt
f16, 2-D		 1e1
9.0		 1e0
50		 1e-1
174		 1e-2
326		 1e-3
358		 1e-5
409		 1e-7
538		 #succ
15/15
BIRMIN Kudela 7.4 (10)3.3 (2)2.2 (2)2.2 (2)6.0 (5)76 (92)884 (1074)1/15
DIRECT-REV Kudela 6.6 (6)3.6 (3)2.1 (1)1.4 (0.8)2.0 (1)40 (70)437 (493)1/15
E-WOA Espinoza 2.2 (2)5.3 (8)26 (45)37 (67)48 (60)46 (55)39 (33)9/15
I-DBDP-GL Kudela 2.3 (2)1.7 (1)1.5 (0.6)1.3 (0.4)1.8 (0.5)2.7 (0.7)3.6 (0.7)15/15
WOA Espinoza 2.2 (2)5.5 (2)14 (12)35 (48)44 (48)58 (68)120 (131)3/15
a-CMA-ES Gissler 3.5 (3)7.6 (10)3.8 (7)2.3 (4)2.4 (3)2.3 (3)1.9 (2)15/15
ad-CMA-ES Gissler 3.1 (2)6.0 (8)2.5 (3)1.8 (2)1.9 (1)1.9 (1)1.6 (1)15/15
adm-CMA-ES Gissler 2.9 (3)2.3 (2)3.2 (4)2.1 (3)2.6 (4)2.5 (3)2.0 (3)15/15
c-CMA-ES Gissler 3.3 (3)5.1 (11)1.9 (3)1.7 (3)1.7 (2)1.7 (2)1.4 (2)15/15
cd-CMA-ES Gissler 2.2 (2)2.8 (2)1.5 (3)1.3 (2)1.4 (1)1.4 (1)1.2 (1.0)15/15
cdm-CMA-ES Gissler 3.1 (3)8.0 (10)3.0 (3)1.8 (2)2.4 (4)2.3 (3)1.9 (3)15/15
cma-bp-bbob Brockhoff 2.7 (3)8.9 (9)3.3 (2)2.1 (2)2.1 (1)2.0 (1)1.8 (1)15/15
cma-bt-bbob Brockhoff 3.1 (2)3.3 (3)1.7 (2)1.5 (2)1.5 (1)1.4 (1)1.2 (1)15/15
d-CMA-ES Gissler 2.6 (2)2.9 (2)1.2 (0.4)1.3 (0.2)1.7 (1)1.7 (1)1.4 (1.0)15/15
default-CMA-ES Gissler 2.8 (2)11 (26)4.4 (7)2.6 (4)2.4 (4)2.4 (3)1.9 (3)15/15
dm-CMA-ES Gissler 3.0 (3)7.7 (13)3.4 (4)2.1 (2)2.0 (2)2.5 (4)2.1 (3)15/15
m-SDWOA Espinoza 2.2 (2)3.5 (4)10 (12)15 (10)26 (15)57 (29)88 (74)6/15
s-CMA-ES Gissler 4.3 (5)6.2 (10)4.8 (4)2.7 (2)2.6 (2)2.5 (2)2.1 (1)15/15
sc-CMA-ES Gissler 4.7 (8)5.7 (9)5.2 (7)3.0 (4)3.2 (4)3.0 (3)2.4 (3)15/15
scd-CMA-ES Gissler 3.2 (3)4.2 (3)2.8 (3)2.3 (2)2.3 (2)2.2 (2)1.8 (1)15/15
scdm-CMA-ES Gissler 2.4 (2)7.0 (10)5.3 (7)3.8 (5)3.6 (4)3.4 (4)2.8 (3)15/15
sd-CMA-ES Gissler 4.4 (7)6.2 (11)2.8 (4)2.1 (2)2.3 (3)2.2 (3)1.8 (2)15/15
sdm-CMA-ES Gissler 7.8 (3)3.9 (7)1.8 (2)1.8 (2)2.0 (2)1.9 (2)1.6 (1)15/15

Δ fopt
f17, 2-D		 1e1
3.0		 1e0
61		 1e-1
133		 1e-2
275		 1e-3
396		 1e-5
1086		 1e-7
1657		 #succ
15/15
BIRMIN Kudela 1.3 (0.8)0.73 (0.4)1.6 (1.0)3.1 (4)72 (136)∞∞1e50/15
DIRECT-REV Kudela 1.2 (1)1.1 (0.8)1.9 (0.9)3.7 (3)7.2 (7)624 (545)409 (443)0/15
E-WOA Espinoza 2.2 (1)5.0 (8)16 (16)42 (62)72 (65)59 (73)41 (36)4/15
I-DBDP-GL Kudela 1.1 (0.8)0.72 (0.4)1.3 (0.6)1.9 (0.8)3.0 (0.9)2.9 (0.5)3.5 (0.6)15/15
WOA Espinoza 2.2 (1)2.9 (3)46 (76)48 (39)119 (141)∞∞2e40/15
a-CMA-ES Gissler 0.93 (0.8)1.4 (0.9)1.3 (0.8)1.1 (1)1.3 (1)1.4 (1)1.2 (0.8)15/15
ad-CMA-ES Gissler 1.0 (0.7)1.1 (1)1.8 (3)1.1 (1)1.3 (1.0)1.5 (1)1.2 (0.8)15/15
adm-CMA-ES Gissler 1.2 (1)1.5 (0.7)1.7 (3)1.2 (1)1.6 (1)1.4 (0.6)1.2 (0.5)15/15
c-CMA-ES Gissler 1.2 (1)0.84 (0.7)1.3 (0.6)1.3 (1)1.8 (1)1.6 (1)1.3 (0.6)15/15
cd-CMA-ES Gissler 1.3 (2)3.5 (5)2.3 (3)1.4 (1)1.5 (1)1.5 (1)1.2 (0.8)15/15
cdm-CMA-ES Gissler 1.0 (1)1.5 (0.9)1.4 (0.3)1.1 (1)1.0 (1.0)1.0 (0.5)1.1 (0.8)15/15
cma-bp-bbob Brockhoff 1.4 (2)0.84 (0.8)1.5 (2)1.0 (1.0)1.4 (1)1.1 (1.0)1.1 (0.5)15/15
cma-bt-bbob Brockhoff 1.7 (2)0.66 (0.5)0.98 (0.4)1.3 (1)1.4 (1)1.2 (0.2)1.0 (0.1)15/15
d-CMA-ES Gissler 0.98 (1)2.0 (5)1.6 (2)1.3 (1)1.2 (0.9)1.2 (1.0)1.1 (0.7)15/15
default-CMA-ES Gissler 1.3 (1)1.2 (0.7)1.1 (0.4)0.82 (0.2)↑10.88 (0.9)1.5 (1)1.2 (0.5)15/15
dm-CMA-ES Gissler 0.71 (0.5)1.6 (2)1.3 (0.6)1.3 (1)1.7 (1)1.4 (1.0)1.2 (0.5)15/15
m-SDWOA Espinoza 2.2 (1)2.9 (3)10 (4)12 (2)14 (2)10 (0.7)9.2 (0.4)15/15
s-CMA-ES Gissler 1.4 (2)3.1 (4)2.5 (2)1.8 (1)1.6 (1)1.5 (1)1.2 (0.5)15/15
sc-CMA-ES Gissler 1.4 (2)2.4 (4)1.9 (2)1.8 (2)1.8 (1)1.5 (1)1.1 (0.8)15/15
scd-CMA-ES Gissler 0.93 (1)0.56 (0.5)0.90 (0.6)1.1 (1)1.4 (1)1.6 (1)1.5 (0.9)15/15
scdm-CMA-ES Gissler 1.6 (0.8)1.4 (0.8)1.5 (2)1.1 (1)1.5 (1)1.5 (1)1.4 (0.5)15/15
sd-CMA-ES Gissler 1.1 (2)0.69 (0.5)0.90 (0.3)0.90 (0.2)↑11.0 (0.9)1.4 (1)1.2 (0.8)15/15
sdm-CMA-ES Gissler 1.9 (2)1.8 (0.8)1.8 (2)1.3 (1)1.3 (0.9)1.4 (1.0)1.2 (0.5)15/15

Δ fopt
f18, 2-D		 1e1
19		 1e0
134		 1e-1
666		 1e-2
1249		 1e-3
1708		 1e-5
2438		 1e-7
2858		 #succ
15/15
BIRMIN Kudela 20 (55)8.0 (13)3.0 (3)5.0 (4)34 (37)∞∞1e50/15
DIRECT-REV Kudela 2.8 (4)8.9 (11)3.9 (5)3.9 (4)4.6 (4)∞∞1e50/15
E-WOA Espinoza 2.3 (3)19 (41)28 (30)21 (25)21 (21)18 (25)16 (11)5/15
I-DBDP-GL Kudela 0.94 (0.8)1.1 (0.8)0.86 (0.5)1.1 (0.4)1.4 (0.5)2.8 (0.7)4.0 (0.9)15/15
WOA Espinoza 2.4 (3)61 (83)36 (45)35 (52)54 (60)∞∞2e40/15
a-CMA-ES Gissler 1.2 (1)2.6 (3)0.96 (0.7)0.65 (0.7)0.67 (0.6)0.83 (0.4)0.80 (0.3)15/15
ad-CMA-ES Gissler 1.4 (1)2.7 (3)1.2 (1)0.80 (0.8)0.76 (0.6)1.1 (0.4)1.2 (0.7)15/15
adm-CMA-ES Gissler 1.5 (2)4.3 (6)1.1 (1)0.76 (0.7)0.75 (0.6)0.87 (0.5)0.88 (0.5)15/15
c-CMA-ES Gissler 1.5 (1)3.6 (6)1.1 (1)0.90 (0.8)0.94 (0.5)0.95 (0.4)1.1 (0.4)15/15
cd-CMA-ES Gissler 1.2 (1)2.3 (4)0.89 (0.8)0.62 (0.4)0.52 (0.3)↑00.78 (0.3)1.0 (0.4)15/15
cdm-CMA-ES Gissler 1.6 (1)2.7 (3)1.1 (0.7)0.88 (0.5)0.72 (0.3)↑10.82 (0.4)0.80 (0.3)15/15
cma-bp-bbob Brockhoff 1.2 (1)3.7 (7)0.98 (1)0.65 (0.8)0.77 (0.6)1.0 (0.4)1.1 (0.7)15/15
cma-bt-bbob Brockhoff 1.0 (0.8)3.2 (6)1.2 (1)0.87 (0.7)0.83 (0.8)0.87 (0.5)0.89 (0.4)15/15
d-CMA-ES Gissler 1.7 (2)3.6 (3)1.5 (1)1.0 (0.8)0.95 (0.7)0.97 (0.6)1.1 (0.8)15/15
default-CMA-ES Gissler 1.6 (1)1.9 (2)0.86 (0.6)0.68 (0.4)↑10.68 (0.6)0.87 (0.6)1.0 (0.4)15/15
dm-CMA-ES Gissler 1.2 (1)2.8 (3)1.1 (1)0.83 (0.8)0.85 (0.7)0.95 (0.4)0.93 (0.3)15/15
m-SDWOA Espinoza 2.2 (3)5.1 (3)3.4 (1)3.8 (0.8)4.2 (0.7)5.1 (0.4)6.2 (0.5)13/15
s-CMA-ES Gissler 0.89 (0.6)3.7 (3)1.1 (1)0.79 (0.7)0.74 (0.6)0.88 (0.5)0.85 (0.5)15/15
sc-CMA-ES Gissler 1.3 (1)3.3 (2)1.1 (1)0.76 (0.7)0.74 (0.6)0.98 (0.4)0.98 (0.4)15/15
scd-CMA-ES Gissler 1.1 (1)2.3 (3)0.79 (0.6)0.60 (0.4)↑10.68 (0.6)0.99 (0.4)0.97 (0.4)15/15
scdm-CMA-ES Gissler 1.6 (1)4.0 (3)1.2 (1)0.85 (0.7)0.71 (0.5)0.88 (0.4)0.85 (0.3)15/15
sd-CMA-ES Gissler 0.97 (0.8)2.9 (3)0.99 (0.6)0.71 (0.6)0.86 (0.6)0.89 (0.3)1.1 (0.4)15/15
sdm-CMA-ES Gissler 1.5 (1)3.1 (4)1.4 (1)0.83 (0.7)0.76 (0.5)1.2 (0.5)1.2 (0.5)15/15

Δ fopt
f19, 2-D		 1e1
1		 1e0
1		 1e-1
26		 1e-2
216		 1e-3
227		 1e-5
252		 1e-7
276		 #succ
15/15
BIRMIN Kudela 3.9 (2)868 (1514)58 (59)15 (14)17 (13)26 (16)146 (173)8/15
DIRECT-REV Kudela 1 (0)1 (0)12 (9)7.0 (8)6.7 (8)6.1 (7)5.7 (7)15/15
E-WOA Espinoza 4.9 (4)71 (75)22 (15)49 (46)69 (76)84 (109)172 (179)5/15
I-DBDP-GL Kudela 3.9 (2)21 (22)6.0 (6)6.1 (7)6.4 (7)7.0 (6)8.4 (6)15/15
WOA Espinoza 4.9 (4)60 (52)10 (7)60 (94)88 (115)137 (143)220 (230)2/15
a-CMA-ES Gissler 1 (0)1 (0)13 (19)8.7 (11)8.8 (11)12 (17)11 (16)15/15
ad-CMA-ES Gissler 1 (0)1 (0)8.1 (19)12 (13)11 (13)15 (21)14 (19)15/15
adm-CMA-ES Gissler 1 (0)1 (0)8.2 (19)15 (18)15 (18)19 (25)18 (24)15/15
c-CMA-ES Gissler 1 (0)1 (0)6.6 (7)14 (21)14 (21)14 (20)13 (19)15/15
cd-CMA-ES Gissler 1 (0)1 (0)12 (21)9.0 (10)12 (15)12 (14)11 (13)15/15
cdm-CMA-ES Gissler 1 (0)1 (0)4.8 (4)10 (13)10 (13)10 (12)12 (12)15/15
cma-bp-bbob Brockhoff 1 (0)1 (0)10 (22)12 (13)13 (12)15 (19)14 (17)15/15
cma-bt-bbob Brockhoff 1 (0)1 (0)10 (23)11 (13)16 (14)15 (14)15 (13)15/15
d-CMA-ES Gissler 1 (0)1 (0)14 (22)11 (18)11 (17)11 (15)11 (14)15/15
default-CMA-ES Gissler 1 (0)1 (0)16 (20)9.1 (8)10 (8)10 (8)10 (7)15/15
dm-CMA-ES Gissler 1 (0)1 (0)6.7 (9)4.7 (6)5.1 (6)5.3 (5)5.1 (5)15/15
m-SDWOA Espinoza 4.9 (4)66 (62)13 (12)7.5 (6)13 (9)23 (17)34 (9)15/15
s-CMA-ES Gissler 1 (0)1 (0)13 (21)8.7 (8)21 (19)20 (20)19 (19)15/15
sc-CMA-ES Gissler 1 (0)1 (0)10 (19)11 (11)10 (11)11 (10)11 (9)15/15
scd-CMA-ES Gissler 1 (0)1 (0)9.4 (13)16 (20)22 (40)21 (37)20 (37)15/15
scdm-CMA-ES Gissler 1 (0)1 (0)13 (22)14 (19)17 (22)20 (24)19 (23)15/15
sd-CMA-ES Gissler 1 (0)1 (0)9.4 (21)15 (27)16 (29)17 (26)16 (24)15/15
sdm-CMA-ES Gissler 1 (0)1 (0)7.2 (8)6.7 (7)8.0 (7)8.4 (8)8.1 (8)15/15

Δ fopt
f20, 2-D		 1e1
4.0		 1e0
61		 1e-1
365		 1e-2
366		 1e-3
366		 1e-5
370		 1e-7
375		 #succ
15/15
BIRMIN Kudela 0.40 (0.1)↑00.97 (0.3)0.27 (0.1)★↑00.44 (0.5)0.84 (1)36 (72)97 (133)11/15
DIRECT-REV Kudela 3.0 (0)3.2 (0.1)0.57 (0.0)↑00.58 (0.0)↑00.59 (0.0)↑00.59 (0.0)↑00.58 (0.0)↑015/15
E-WOA Espinoza 1.9 (0.6)26 (42)10 (22)13 (26)16 (26)22 (28)26 (33)12/15
I-DBDP-GL Kudela 0.40 (0.1)↑00.66 (0.1)↑00.38 (0.0)↑00.93 (0.0)↑01.3 (0.1)2.7 (0.2)4.3 (0.2)15/15
WOA Espinoza 1.9 (0.6)176 (167)30 (28)40 (41)41 (55)50 (70)56 (82)9/15
a-CMA-ES Gissler 1.6 (1)12 (14)11 (17)13 (17)14 (22)14 (22)15 (22)15/15
ad-CMA-ES Gissler 1.7 (2)13 (15)12 (14)13 (16)14 (17)14 (18)15 (19)15/15
adm-CMA-ES Gissler 1.7 (1)13 (16)7.9 (5)10 (6)11 (6)12 (6)12 (6)15/15
c-CMA-ES Gissler 1.8 (0.9)8.1 (14)8.8 (10)10 (10)10 (10)10 (10)11 (10)15/15
cd-CMA-ES Gissler 1.7 (1)8.9 (8)11 (8)12 (9)12 (9)13 (9)13 (10)15/15
cdm-CMA-ES Gissler 2.4 (2)17 (13)7.7 (9)8.2 (9)8.5 (10)8.8 (10)9.1 (10)15/15
cma-bp-bbob Brockhoff 1.7 (2)14 (13)9.1 (8)12 (10)13 (10)13 (11)14 (11)15/15
cma-bt-bbob Brockhoff 2.3 (2)10 (12)8.4 (8)11 (19)12 (19)13 (20)13 (21)15/15
d-CMA-ES Gissler 1.5 (1)10 (12)9.0 (8)10 (9)11 (9)11 (9)12 (9)15/15
default-CMA-ES Gissler 2.3 (2)12 (14)8.4 (13)10 (13)11 (17)11 (18)11 (18)15/15
dm-CMA-ES Gissler 1.7 (1)8.8 (12)9.4 (9)12 (10)12 (11)13 (11)13 (11)15/15
m-SDWOA Espinoza 1.9 (0.6)6.6 (3)7.2 (2)16 (3)20 (1)24 (2)27 (3)15/15
s-CMA-ES Gissler 0.98 (0.5)11 (11)7.6 (8)11 (10)11 (10)12 (11)12 (11)15/15
sc-CMA-ES Gissler 1.2 (0.8)10 (13)8.4 (9)9.3 (10)10 (10)10 (11)11 (11)15/15
scd-CMA-ES Gissler 1.5 (1)6.5 (6)14 (16)15 (17)16 (18)17 (18)17 (19)15/15
scdm-CMA-ES Gissler 1.9 (1)7.4 (12)7.9 (9)10 (9)11 (9)11 (10)11 (9)15/15
sd-CMA-ES Gissler 1.4 (1)12 (14)9.1 (8)11 (8)11 (8)12 (9)12 (9)15/15
sdm-CMA-ES Gissler 1.7 (1)14 (16)13 (15)15 (17)16 (19)17 (20)17 (20)15/15

Δ fopt
f21, 2-D		 1e1
2.0		 1e0
51		 1e-1
174		 1e-2
276		 1e-3
290		 1e-5
324		 1e-7
330		 #succ
15/15
BIRMIN Kudela 1.4 (1)1.1 (1)0.64 (0.6)0.48 (0.6)0.53 (0.7)1.1 (1)6.5 (11)15/15
DIRECT-REV Kudela 2.4 (2)1.9 (2)0.92 (0.8)0.61 (0.5)0.63 (0.5)0.61 (0.4)0.75 (0.4)15/15
E-WOA Espinoza 1.3 (2)2.0 (2)1.6 (2)1.4 (2)2.5 (2)6.5 (12)12 (26)13/15
I-DBDP-GL Kudela 1.4 (1)0.75 (0.7)0.45 (0.5)0.36 (0.2)↑10.50 (0.4)↑10.75 (0.3)↑11.2 (0.4)15/15
WOA Espinoza 1.3 (2)1.4 (1)0.86 (0.6)0.83 (0.9)1.4 (2)5.0 (9)12 (31)13/15
a-CMA-ES Gissler 0.87 (0.2)3.6 (7)5.0 (7)4.6 (9)4.6 (8)4.5 (8)4.6 (8)15/15
ad-CMA-ES Gissler 1.0 (0.5)2.5 (5)1.9 (2)1.5 (1)1.5 (1)1.5 (1)1.6 (1)15/15
adm-CMA-ES Gissler 0.87 (0.8)8.9 (14)8.3 (13)5.6 (8)5.6 (8)15 (8)51 (7)14/15
c-CMA-ES Gissler 0.87 (0.5)3.8 (6)3.4 (4)14 (9)17 (24)16 (28)89 (29)14/15
cd-CMA-ES Gissler 0.80 (0.5)6.6 (7)6.8 (14)6.8 (10)6.9 (10)6.9 (10)7.1 (10)15/15
cdm-CMA-ES Gissler 0.73 (0.5)5.0 (7)8.5 (13)6.9 (11)6.9 (10)6.7 (10)6.9 (11)15/15
cma-bp-bbob Brockhoff 1.2 (1)11 (6)12 (13)10 (8)10 (7)9.5 (8)10 (8)14/15
cma-bt-bbob Brockhoff 1.1 (0.8)6.1 (11)11 (15)12 (18)11 (17)15 (31)17 (31)13/15
d-CMA-ES Gissler 0.93 (0.8)8.8 (16)8.9 (8)11 (5)15 (29)15 (29)16 (29)15/15
default-CMA-ES Gissler 0.90 (0.8)6.2 (12)4.2 (6)11 (5)11 (5)20 (33)20 (32)15/15
dm-CMA-ES Gissler 0.73 (0.5)6.8 (14)6.5 (7)5.0 (6)5.3 (6)12 (6)17 (6)14/15
m-SDWOA Espinoza 1.3 (2)1.2 (1)1.5 (2)1.9 (1)3.0 (2)6.4 (4)10 (2)15/15
s-CMA-ES Gissler 0.77 (0.5)5.1 (11)5.1 (7)3.4 (5)3.4 (5)3.5 (4)3.6 (4)15/15
sc-CMA-ES Gissler 0.83 (0.5)5.2 (7)5.5 (13)3.8 (8)4.1 (8)4.0 (8)4.2 (8)15/15
scd-CMA-ES Gissler 0.90 (1)5.1 (6)7.7 (8)5.7 (6)5.8 (5)7.0 (11)7.1 (12)15/15
scdm-CMA-ES Gissler 1.1 (2)6.1 (14)4.3 (4)3.1 (3)4.6 (5)4.5 (5)4.6 (5)15/15
sd-CMA-ES Gissler 0.87 (0.8)4.0 (6)6.5 (13)4.2 (8)5.1 (9)6.5 (10)6.6 (10)15/15
sdm-CMA-ES Gissler 0.77 (0.5)7.6 (15)5.3 (7)4.5 (7)4.5 (7)4.3 (6)4.5 (7)15/15

Δ fopt
f22, 2-D		 1e1
5.0		 1e0
27		 1e-1
168		 1e-2
218		 1e-3
249		 1e-5
289		 1e-7
306		 #succ
15/15
BIRMIN Kudela 1.9 (2)1.9 (2)0.92 (0.7)0.88 (0.6)1.3 (2)5.1 (7)35 (22)13/15
DIRECT-REV Kudela 1.9 (3)2.2 (2)1.2 (2)0.99 (2)0.90 (1)0.82 (1)2.8 (2)15/15
E-WOA Espinoza 0.95 (0.8)3.4 (3)2.4 (3)4.3 (7)11 (18)24 (27)40 (35)10/15
I-DBDP-GL Kudela 1.5 (1)1.7 (0.9)0.69 (0.5)0.75 (0.4)0.93 (0.5)1.6 (0.5)2.4 (0.9)15/15
WOA Espinoza 0.95 (0.8)3.2 (4)3.2 (4)11 (10)19 (41)42 (74)67 (89)7/15
a-CMA-ES Gissler 1.0 (1)1.3 (2)3.4 (7)2.7 (5)2.7 (5)2.7 (5)2.9 (5)15/15
ad-CMA-ES Gissler 1.7 (0.9)5.6 (12)11 (24)11 (20)13 (17)21 (32)54 (34)14/15
adm-CMA-ES Gissler 1 (0.9)4.2 (11)7.1 (13)13 (10)20 (59)89 (108)90 (140)14/15
c-CMA-ES Gissler 1.4 (2)3.5 (2)1.7 (4)2.7 (3)2.6 (3)2.5 (3)2.6 (3)15/15
cd-CMA-ES Gissler 9.4 (2)16 (14)6.1 (8)6.4 (9)6.3 (8)7.3 (9)7.1 (9)15/15
cdm-CMA-ES Gissler 0.85 (0.6)13 (13)7.9 (13)6.7 (10)6.0 (9)36 (24)34 (24)15/15
cma-bp-bbob Brockhoff 0.93 (0.8)2.3 (3)3.3 (4)3.2 (3)2.8 (3)2.6 (3)2.6 (2)15/15
cma-bt-bbob Brockhoff 1.2 (1)4.8 (10)4.3 (8)4.6 (7)4.2 (6)10 (10)10 (10)14/15
d-CMA-ES Gissler 2.6 (4)8.8 (12)25 (18)22 (17)20 (15)41 (101)78 (113)14/15
default-CMA-ES Gissler 1.2 (2)7.3 (2)14 (12)14 (10)24 (36)39 (33)47 (57)15/15
dm-CMA-ES Gissler 1.5 (2)3.5 (9)7.0 (13)7.2 (10)8.0 (11)29 (10)53 (9)14/15
m-SDWOA Espinoza 0.95 (0.8)2.9 (3)0.97 (1)2.9 (3)3.4 (3)9.0 (3)11 (2)15/15
s-CMA-ES Gissler 0.95 (0.7)7.2 (11)3.6 (7)7.7 (8)18 (9)28 (8)43 (9)15/15
sc-CMA-ES Gissler 0.91 (0.7)13 (24)6.5 (11)6.1 (9)5.4 (7)7.1 (12)7.1 (11)15/15
scd-CMA-ES Gissler 1.1 (1)1.2 (0.9)3.7 (5)4.0 (4)13 (27)12 (27)20 (27)15/15
scdm-CMA-ES Gissler 1.1 (1)10 (14)3.3 (7)8.9 (6)17 (15)60 (98)102 (326)13/15
sd-CMA-ES Gissler 0.68 (0.7)5.4 (11)5.0 (8)12 (29)11 (28)10 (25)10 (26)15/15
sdm-CMA-ES Gissler 0.88 (1)6.9 (11)3.8 (5)3.2 (4)32 (19)51 (17)115 (307)13/15

Δ fopt
f23, 2-D		 1e1
8.0		 1e0
193		 1e-1
234		 1e-2
263		 1e-3
299		 1e-5
348		 1e-7
379		 #succ
15/15
BIRMIN Kudela 2.7 (4)4.1 (9)48 (61)427 (375)922 (1589)∞∞1e50/15
DIRECT-REV Kudela 4.0 (4)2.3 (3)26 (33)86 (192)253 (289)∞∞1e50/15
E-WOA Espinoza 1.9 (2)21 (11)159 (112)200 (228)187 (168)426 (587)∞2e40/15
I-DBDP-GL Kudela 1.6 (2)3.3 (2)6.2 (2)9.2 (2)12 (5)20 (7)30 (8)15/15
WOA Espinoza 1.9 (2)4.2 (5)114 (97)354 (404)∞∞∞2e40/15
a-CMA-ES Gissler 2.9 (3)4.3 (4)5.4 (4)8.2 (10)7.5 (9)6.9 (8)6.7 (8)15/15
ad-CMA-ES Gissler 2.0 (2)8.6 (11)12 (11)12 (10)11 (9)10 (8)10 (7)15/15
adm-CMA-ES Gissler 1.9 (1)7.5 (7)8.0 (5)7.5 (5)6.9 (4)6.4 (4)6.4 (3)15/15
c-CMA-ES Gissler 1.8 (2)9.5 (10)12 (12)11 (11)10 (10)9.2 (8)9.0 (8)15/15
cd-CMA-ES Gissler 1.7 (2)3.9 (3)9.2 (14)12 (20)11 (18)10 (16)10 (15)15/15
cdm-CMA-ES Gissler 2.9 (3)8.5 (11)14 (18)13 (16)13 (24)12 (21)11 (19)15/15
cma-bp-bbob Brockhoff 1.2 (2)6.4 (8)13 (14)12 (13)11 (12)10 (10)10 (9)15/15
cma-bt-bbob Brockhoff 2.2 (3)6.3 (8)12 (15)11 (13)10 (12)9.2 (10)8.9 (10)15/15
d-CMA-ES Gissler 2.5 (3)5.4 (6)7.8 (7)10 (11)8.9 (10)8.1 (8)7.9 (8)15/15
default-CMA-ES Gissler 1.7 (1)4.4 (5)6.8 (6)6.4 (5)7.7 (6)7.0 (6)6.9 (5)15/15
dm-CMA-ES Gissler 2.6 (3)4.5 (4)12 (12)11 (11)10 (9)9.3 (8)9.0 (8)15/15
m-SDWOA Espinoza 1.9 (2)6.3 (7)58 (24)560 (550)∞∞∞2e40/15
s-CMA-ES Gissler 2.4 (2)7.2 (12)10 (10)12 (11)11 (10)10 (9)9.3 (8)15/15
sc-CMA-ES Gissler 2.4 (5)6.9 (7)14 (15)14 (14)19 (14)17 (12)16 (11)15/15
scd-CMA-ES Gissler 1.6 (2)5.1 (5)8.0 (11)7.4 (10)6.9 (9)6.4 (8)6.3 (8)15/15
scdm-CMA-ES Gissler 2.0 (2)5.3 (5)8.3 (6)7.8 (5)7.1 (5)6.6 (4)6.5 (4)15/15
sd-CMA-ES Gissler 1.7 (1)5.1 (6)7.7 (9)7.2 (9)6.6 (8)6.2 (7)6.2 (7)15/15
sdm-CMA-ES Gissler 2.3 (2)10 (10)14 (15)14 (13)12 (11)11 (10)11 (9)15/15

Δ fopt
f24, 2-D		 1e1
18		 1e0
857		 1e-1
8515		 1e-2
23399		 1e-3
24113		 1e-5
24721		 1e-7
24721		 #succ
5/15
BIRMIN Kudela 1.6 (2)3.8 (4)3.7 (4)1.5 (2)1.5 (1)3.2 (4)12 (18)3/15
DIRECT-REV Kudela 1.6 (2)1.8 (1)1.9 (1)2.0 (3)2.0 (2)1.9 (2)1.9 (2)13/15
E-WOA Espinoza 2.3 (2)22 (22)5.9 (8)12 (15)12 (9)12 (17)12 (18)1/15
I-DBDP-GL Kudela 1.3 (1)6.9 (6)1.4 (2)0.58 (0.6)0.57 (0.6)0.58 (0.6)0.62 (0.6)15/15
WOA Espinoza 2.3 (2)11 (24)16 (16)∞∞∞∞2e40/15
a-CMA-ES Gissler 1.7 (2)42 (25)130 (236)111 (86)108 (91)105 (101)105 (134)2/15
ad-CMA-ES Gissler 0.98 (1)16 (22)42 (47)21 (26)48 (59)47 (81)47 (62)4/15
adm-CMA-ES Gissler 1.1 (1)42 (40)73 (118)70 (65)68 (79)66 (85)66 (48)3/15
c-CMA-ES Gissler 1.1 (1)38 (97)72 (107)49 (56)47 (43)46 (49)46 (45)4/15
cd-CMA-ES Gissler 1.3 (1)80 (201)62 (80)51 (85)71 (65)70 (81)70 (63)3/15
cdm-CMA-ES Gissler 5.5 (2)59 (182)139 (212)112 (180)108 (116)106 (81)106 (101)2/15
cma-bp-bbob Brockhoff 0.98 (0.8)21 (25)10 (5)5.9 (9)5.8 (7)5.7 (6)5.7 (8)2/15
cma-bt-bbob Brockhoff 1.0 (0.9)16 (23)34 (35)12 (8)12 (13)∞∞2e40/15
d-CMA-ES Gissler 1.1 (1)56 (165)37 (53)30 (26)30 (43)36 (46)36 (38)5/15
default-CMA-ES Gissler 1.8 (2)78 (182)307 (305)113 (150)109 (229)107 (77)107 (117)2/15
dm-CMA-ES Gissler 1.8 (2)70 (177)71 (106)112 (116)233 (324)227 (239)227 (215)1/15
m-SDWOA Espinoza 2.6 (2)5.4 (6)2.1 (1)3.1 (3)∞∞∞2e40/15
s-CMA-ES Gissler 1.4 (1)118 (235)95 (118)47 (47)46 (58)65 (105)65 (130)3/15
sc-CMA-ES Gissler 1.6 (2)76 (165)73 (118)35 (48)34 (62)34 (54)34 (49)5/15
scd-CMA-ES Gissler 1.1 (0.9)19 (43)24 (50)24 (23)28 (43)27 (49)27 (25)6/15
scdm-CMA-ES Gissler 1.8 (2)31 (21)95 (83)112 (141)109 (104)106 (138)106 (162)2/15
sd-CMA-ES Gissler 0.99 (0.6)43 (20)11 (24)29 (35)28 (40)27 (25)27 (41)6/15
sdm-CMA-ES Gissler 1.6 (2)118 (281)95 (95)241 (313)234 (374)228 (243)228 (438)1/15

Previous dimension | Dimension = 3 | Next dimension

Δ fopt
f1, 3-D		 1e1
4.0		 1e0
8.0		 1e-1
8.0		 1e-2
8.0		 1e-3
8.0		 1e-5
8.0		 1e-7
8.0		 #succ
15/15
BIRMIN Kudela 1 (0.9)3.6 (2)4.6 (2)12 (20)24 (47)2892 (9375)2893 (2e4)13/15
DIRECT-REV Kudela 1.7 (2)2.7 (0.4)3.3 (0.8)★3.4 (0.8)★23.4 (0.8)★26.0 (1)6.5 (1)★215/15
E-WOA Espinoza 2.7 (3)32 (40)161 (135)339 (201)579 (243)1005 (277)1509 (300)15/15
I-DBDP-GL Kudela 0.93 (0.6)3.8 (3)13 (7)32 (10)59 (18)154 (38)301 (56)15/15
WOA Espinoza 2.7 (3)15 (13)51 (43)106 (65)473 (198)3497 (2591)1.6e4 (2e4)1/15
a-CMA-ES Gissler 2.0 (2)4.1 (3)10 (4)16 (4)21 (6)32 (7)44 (7)15/15
ad-CMA-ES Gissler 1.5 (1)4.9 (2)10 (5)17 (4)22 (4)35 (4)48 (4)15/15
adm-CMA-ES Gissler 1.6 (2)4.6 (3)11 (5)16 (5)23 (4)36 (3)48 (3)15/15
c-CMA-ES Gissler 1.6 (1)4.4 (2)11 (3)16 (5)23 (6)34 (8)46 (8)15/15
cd-CMA-ES Gissler 1.1 (1)3.4 (3)10 (4)17 (7)24 (6)36 (4)49 (5)15/15
cdm-CMA-ES Gissler 2.0 (2)5.2 (2)10 (5)17 (4)23 (3)36 (5)49 (6)15/15
cma-bp-bbob Brockhoff 1.7 (2)3.3 (2)8.4 (4)15 (5)20 (6)30 (4)42 (7)15/15
cma-bt-bbob Brockhoff 1.5 (1)4.8 (5)10 (6)16 (5)22 (8)33 (8)45 (9)15/15
d-CMA-ES Gissler 1.7 (1)4.5 (2)10 (3)15 (3)22 (4)34 (4)47 (5)15/15
default-CMA-ES Gissler 1.7 (3)4.0 (3)8.3 (3)15 (5)20 (3)32 (7)44 (7)15/15
dm-CMA-ES Gissler 1.7 (1)4.2 (2)10 (4)17 (3)23 (5)35 (5)47 (5)15/15
m-SDWOA Espinoza 2.7 (3)23 (23)90 (45)184 (52)286 (53)502 (50)718 (45)15/15
s-CMA-ES Gissler 2.1 (2)3.9 (4)8.8 (4)15 (4)19 (6)31 (6)42 (7)15/15
sc-CMA-ES Gissler 1.6 (2)4.4 (2)9.4 (5)15 (6)21 (6)33 (6)44 (8)15/15
scd-CMA-ES Gissler 1.8 (2)4.1 (3)10 (5)16 (6)20 (7)34 (6)47 (7)15/15
scdm-CMA-ES Gissler 2.1 (3)5.4 (3)11 (6)18 (6)25 (6)36 (8)48 (7)15/15
sd-CMA-ES Gissler 1.8 (2)4.6 (2)9.1 (5)15 (5)19 (4)31 (7)44 (5)15/15
sdm-CMA-ES Gissler 1.5 (2)3.7 (2)10 (3)16 (4)22 (6)33 (4)45 (6)15/15

Δ fopt
f2, 3-D		 1e1
38		 1e0
42		 1e-1
43		 1e-2
44		 1e-3
45		 1e-5
47		 1e-7
48		 #succ
15/15
BIRMIN Kudela 1.7 (0.5)1.8 (0.4)2.2 (0.5)2.4 (0.5)2.7 (0.9)3.1 (0.9)3.4 (0.8)14/15
DIRECT-REV Kudela 1.0 (0.5)1.3 (0.5)1.7 (0.7)2.1 (0.6)2.3 (0.6)2.6 (0.8)2.9 (0.8)15/15
E-WOA Espinoza 195 (122)357 (177)405 (140)446 (150)499 (121)598 (344)858 (343)8/15
I-DBDP-GL Kudela 27 (7)39 (15)52 (15)64 (14)73 (20)114 (30)163 (19)15/15
WOA Espinoza 961 (1193)2113 (1807)∞∞∞∞∞3e40/15
a-CMA-ES Gissler 7.6 (4)9.3 (2)10 (1)11 (2)12 (1)13 (1)15 (1)15/15
ad-CMA-ES Gissler 7.0 (2)7.8 (2)8.9 (2)10 (1)11 (1)12 (2)15 (1)15/15
adm-CMA-ES Gissler 6.6 (3)8.2 (3)10 (2)11 (2)12 (2)13 (2)15 (2)15/15
c-CMA-ES Gissler 6.7 (3)8.8 (4)10 (2)11 (2)12 (2)14 (2)15 (2)15/15
cd-CMA-ES Gissler 6.9 (4)7.9 (3)10 (2)11 (3)12 (3)13 (3)15 (3)15/15
cdm-CMA-ES Gissler 6.7 (3)8.9 (3)10 (2)11 (2)12 (2)14 (2)16 (2)15/15
cma-bp-bbob Brockhoff 7.2 (3)8.7 (2)10 (2)11 (2)12 (2)13 (2)15 (2)15/15
cma-bt-bbob Brockhoff 5.3 (2)8.3 (2)10 (2)11 (2)11 (2)13 (2)15 (2)15/15
d-CMA-ES Gissler 7.0 (3)8.5 (2)10 (2)11 (3)11 (3)13 (2)15 (2)15/15
default-CMA-ES Gissler 6.6 (3)8.0 (2)10 (2)11 (1)12 (1)13 (1)15 (1)15/15
dm-CMA-ES Gissler 7.4 (3)8.4 (3)9.3 (3)10 (3)11 (3)13 (3)15 (3)15/15
m-SDWOA Espinoza 46 (13)67 (11)83 (10)97 (10)117 (11)147 (11)180 (7)15/15
s-CMA-ES Gissler 7.1 (4)8.1 (4)10 (4)11 (3)12 (3)13 (2)15 (3)15/15
sc-CMA-ES Gissler 7.4 (3)9.0 (4)11 (2)11 (2)12 (2)14 (3)16 (3)15/15
scd-CMA-ES Gissler 7.4 (5)10 (4)11 (3)12 (3)12 (3)14 (3)16 (3)15/15
scdm-CMA-ES Gissler 6.7 (4)8.8 (4)10 (4)11 (3)12 (3)14 (3)15 (3)15/15
sd-CMA-ES Gissler 6.4 (3)8.0 (2)9.2 (2)10 (2)11 (2)12 (1)14 (2)15/15
sdm-CMA-ES Gissler 6.7 (3)9.3 (3)11 (3)11 (3)12 (2)14 (3)16 (3)15/15

Δ fopt
f3, 3-D		 1e1
38		 1e0
822		 1e-1
830		 1e-2
835		 1e-3
842		 1e-5
847		 1e-7
853		 #succ
15/15
BIRMIN Kudela 1.4 (1)1.9 (2)4.4 (4)4.5 (4)4.8 (4)31 (91)31 (88)13/15
DIRECT-REV Kudela 5.1 (5)2.2 (3)8.8 (7)8.8 (7)8.7 (7)8.7 (7)8.6 (7)15/15
E-WOA Espinoza 44 (68)55 (49)515 (768)516 (701)516 (615)519 (593)521 (492)1/15
I-DBDP-GL Kudela 5.0 (4)1.9 (1.0)2.6 (2)3.2 (2)3.9 (2)5.4 (2)7.3 (1)15/15
WOA Espinoza 16 (14)251 (218)∞∞∞∞∞3e40/15
a-CMA-ES Gissler 4.9 (3)3.4 (5)15 (11)27 (11)28 (11)29 (11)30 (12)15/15
ad-CMA-ES Gissler 2.4 (2)2.6 (2)27 (45)78 (192)83 (191)94 (258)95 (260)15/15
adm-CMA-ES Gissler 3.5 (3)2.8 (2)21 (20)78 (65)78 (66)79 (69)79 (70)14/15
c-CMA-ES Gissler 5.4 (3)2.5 (2)27 (46)29 (53)51 (59)52 (60)53 (61)15/15
cd-CMA-ES Gissler 3.0 (2)2.3 (2)20 (24)21 (24)22 (25)22 (25)23 (26)15/15
cdm-CMA-ES Gissler 2.7 (2)3.8 (4)22 (21)23 (23)24 (24)25 (24)26 (25)15/15
cma-bp-bbob Brockhoff 4.3 (2)2.3 (3)10 (11)14 (18)14 (19)14 (18)15 (21)13/15
cma-bt-bbob Brockhoff 3.1 (2)6.2 (6)21 (22)21 (19)21 (22)22 (24)24 (22)11/15
d-CMA-ES Gissler 4.6 (2)3.3 (4)10 (15)11 (15)11 (15)11 (15)12 (16)15/15
default-CMA-ES Gissler 5.3 (3)4.3 (4)14 (11)15 (12)15 (12)16 (13)16 (13)15/15
dm-CMA-ES Gissler 2.8 (2)3.3 (3)17 (23)20 (33)20 (33)21 (34)22 (35)15/15
m-SDWOA Espinoza 18 (11)7.8 (3)15 (3)18 (3)19 (2)21 (2)23 (2)15/15
s-CMA-ES Gissler 2.8 (2)3.6 (3)22 (23)49 (130)51 (137)53 (141)54 (143)15/15
sc-CMA-ES Gissler 2.7 (2)3.2 (3)10 (10)11 (10)11 (10)11 (10)11 (11)15/15
scd-CMA-ES Gissler 4.7 (2)3.5 (3)23 (19)27 (21)34 (54)34 (55)35 (57)15/15
scdm-CMA-ES Gissler 3.6 (4)4.1 (3)19 (24)20 (28)21 (28)22 (29)22 (29)15/15
sd-CMA-ES Gissler 2.6 (1)4.6 (6)12 (11)19 (12)20 (13)20 (13)21 (13)15/15
sdm-CMA-ES Gissler 3.5 (2)3.4 (3)24 (22)35 (23)36 (24)37 (25)38 (25)15/15

Δ fopt
f4, 3-D		 1e1
40		 1e0
808		 1e-1
866		 1e-2
921		 1e-3
952		 1e-5
1015		 1e-7
1044		 #succ
15/15
BIRMIN Kudela 4.2 (3)3.3 (4)24 (20)34 (63)34 (64)64 (152)62 (83)11/15
DIRECT-REV Kudela 6.7 (9)2.9 (3)19 (32)18 (30)17 (29)16 (27)16 (26)15/15
E-WOA Espinoza 146 (161)74 (118)504 (442)478 (432)471 (504)∞∞3e40/15
I-DBDP-GL Kudela 10 (9)2.7 (2)4.3 (3)4.7 (3)5.2 (3)6.8 (2)9.0 (2)15/15
WOA Espinoza 141 (375)109 (121)235 (421)223 (222)∞∞∞3e40/15
a-CMA-ES Gissler 10 (12)520 (590)∞∞∞∞∞6e50/15
ad-CMA-ES Gissler 7.1 (12)475 (656)2359 (3211)7366 (6764)7126 (6747)6684 (5969)6499 (8061)1/15
adm-CMA-ES Gissler 4.7 (2)188 (399)9699 (1e4)9120 (9774)8823 (1e4)8275 (1e4)8046 (7906)1/15
c-CMA-ES Gissler 8.2 (13)441 (651)∞∞∞∞∞5e50/15
cd-CMA-ES Gissler 5.0 (3)482 (583)∞∞∞∞∞5e50/15
cdm-CMA-ES Gissler 3.8 (3)368 (360)∞∞∞∞∞6e50/15
cma-bp-bbob Brockhoff 6.6 (12)162 (165)∞∞∞∞∞3e40/15
cma-bt-bbob Brockhoff 5.9 (3)166 (159)∞∞∞∞∞3e40/15
d-CMA-ES Gissler 9.3 (16)395 (451)∞∞∞∞∞5e50/15
default-CMA-ES Gissler 4.2 (2)491 (629)∞∞∞∞∞6e50/15
dm-CMA-ES Gissler 3.8 (3)788 (1119)∞∞∞∞∞6e50/15
m-SDWOA Espinoza 23 (20)14 (4)20 (3)21 (2)22 (2)23 (3)24 (2)15/15
s-CMA-ES Gissler 7.4 (12)285 (354)4206 (6826)3955 (4541)3827 (3721)3590 (4561)3490 (4275)2/15
sc-CMA-ES Gissler 13 (15)1206 (1291)∞∞∞∞∞6e50/15
scd-CMA-ES Gissler 3.6 (2)264 (321)7595 (6907)7142 (8224)6909 (8632)6480 (5498)6301 (7247)1/15
scdm-CMA-ES Gissler 8.8 (14)713 (1090)∞∞∞∞∞6e50/15
sd-CMA-ES Gissler 5.6 (2)1233 (789)7873 (9261)7403 (6922)7162 (8796)6718 (7073)6531 (7695)1/15
sdm-CMA-ES Gissler 5.5 (3)494 (732)∞∞∞∞∞6e50/15

Δ fopt
f5, 3-D		 1e1
7.0		 1e0
7.0		 1e-1
7.0		 1e-2
7.0		 1e-3
7.0		 1e-5
7.0		 1e-7
7.0		 #succ
15/15
BIRMIN Kudela 5.1 (2)10 (2)13 (0.9)15 (2)15 (2)15 (2)3.0e5 (3e5)0/15
DIRECT-REV Kudela 6.7 (0)7.3 (0)11 (0)12 (0)12 (0)13 (0)∞2e50/15
E-WOA Espinoza 13 (10)33 (22)41 (31)41 (31)41 (31)41 (31)41 (31)15/15
I-DBDP-GL Kudela 8.4 (0.4)47 (0.4)136 (13)298 (10)480 (5)1063 (14)1817 (55)15/15
WOA Espinoza 12 (10)29 (14)30 (14)30 (14)30 (14)30 (14)30 (14)15/15
a-CMA-ES Gissler 3.7 (2)6.2 (3)6.4 (3)6.4 (3)6.5 (3)6.5 (3)6.5 (3)15/15
ad-CMA-ES Gissler 3.4 (1)5.6 (2)5.9 (2)5.9 (2)5.9 (2)5.9 (2)5.9 (2)15/15
adm-CMA-ES Gissler 3.3 (1)5.3 (2)5.6 (2)5.6 (2)5.7 (2)5.7 (2)5.7 (2)15/15
c-CMA-ES Gissler 3.4 (2)5.6 (1)5.9 (2)6.0 (2)6.0 (2)6.0 (2)6.0 (2)15/15
cd-CMA-ES Gissler 3.0 (1)4.5 (2)4.7 (2)4.7 (2)4.7 (2)4.7 (2)4.7 (2)15/15
cdm-CMA-ES Gissler 4.2 (2)5.7 (2)6.1 (2)6.2 (2)6.2 (2)6.2 (2)6.2 (2)15/15
cma-bp-bbob Brockhoff 5.2 (3)11 (8)12 (8)12 (8)12 (8)12 (8)12 (8)15/15
cma-bt-bbob Brockhoff 4.9 (3)15 (5)21 (5)29 (5)35 (7)48 (6)61 (8)15/15
d-CMA-ES Gissler 3.2 (1)4.6 (2)4.7 (2)4.8 (2)4.8 (2)4.8 (2)4.8 (2)15/15
default-CMA-ES Gissler 3.9 (3)5.6 (4)6.1 (3)6.1 (3)6.1 (3)6.1 (3)6.1 (3)15/15
dm-CMA-ES Gissler 3.2 (2)5.0 (2)5.1 (2)5.1 (2)5.1 (2)5.1 (2)5.1 (2)15/15
m-SDWOA Espinoza 15 (12)86 (50)104 (61)107 (64)107 (64)107 (64)107 (64)15/15
s-CMA-ES Gissler 2.8 (1)5.0 (4)5.3 (4)5.4 (4)5.4 (4)5.4 (4)5.4 (4)15/15
sc-CMA-ES Gissler 3.7 (3)5.9 (3)6.3 (3)6.4 (3)6.4 (3)6.4 (3)6.4 (3)15/15
scd-CMA-ES Gissler 3.2 (2)5.9 (4)6.1 (5)6.1 (5)6.1 (5)6.1 (5)6.1 (5)15/15
scdm-CMA-ES Gissler 3.1 (2)5.2 (3)5.6 (3)5.6 (3)5.6 (3)5.6 (3)5.6 (3)15/15
sd-CMA-ES Gissler 3.7 (2)5.2 (2)5.3 (2)5.3 (2)5.3 (2)5.3 (2)5.3 (2)15/15
sdm-CMA-ES Gissler 4.0 (2)6.5 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)15/15

Δ fopt
f6, 3-D		 1e1
34		 1e0
56		 1e-1
90		 1e-2
117		 1e-3
149		 1e-5
215		 1e-7
265		 #succ
15/15
BIRMIN Kudela 1.8 (1)1.9 (0.9)1.6 (0.4)1.5 (0.4)1.4 (0.5)1.2 (0.4)1.2 (0.4)13/15
DIRECT-REV Kudela 2.2 (2)2.1 (0.9)1.5 (0.7)1.4 (0.6)1.3 (0.4)1.1 (0.4)1.1 (0.5)14/15
E-WOA Espinoza 8.7 (8)75 (66)211 (189)352 (362)515 (470)1007 (1175)∞3e40/15
I-DBDP-GL Kudela 1.1 (0.9)3.4 (2)5.9 (3)9.1 (2)12 (3)17 (3)24 (5)15/15
WOA Espinoza 3.4 (2)60 (30)115 (177)327 (654)878 (1023)∞∞3e40/15
a-CMA-ES Gissler 1.8 (1)3.1 (1)3.0 (0.9)3.0 (0.8)3.0 (0.6)2.8 (0.3)3.0 (0.3)15/15
ad-CMA-ES Gissler 1.5 (0.8)2.9 (0.9)2.7 (0.7)2.8 (0.4)2.8 (0.5)2.7 (0.2)2.9 (0.4)15/15
adm-CMA-ES Gissler 1.8 (2)2.6 (0.9)2.8 (0.5)2.9 (0.5)3.0 (0.4)2.8 (0.3)3.0 (0.3)15/15
c-CMA-ES Gissler 1.7 (1)2.7 (1)2.8 (1)2.8 (0.9)2.8 (0.7)2.7 (0.6)2.9 (0.5)15/15
cd-CMA-ES Gissler 1.8 (1.0)2.8 (0.9)2.7 (0.7)2.8 (0.6)2.9 (0.9)2.9 (0.7)3.1 (0.6)15/15
cdm-CMA-ES Gissler 2.1 (2)2.8 (1)2.9 (0.5)3.0 (0.6)3.1 (0.7)2.9 (0.4)3.1 (0.5)15/15
cma-bp-bbob Brockhoff 2.4 (2)3.5 (1)3.5 (1)3.7 (1)3.5 (2)3.4 (1)3.4 (0.9)15/15
cma-bt-bbob Brockhoff 1.3 (1.0)2.8 (1)3.0 (0.8)3.0 (1)3.1 (0.7)2.9 (0.4)3.1 (0.5)15/15
d-CMA-ES Gissler 2.4 (1)3.1 (1)3.1 (0.8)3.2 (0.7)3.0 (0.7)3.0 (0.6)3.1 (0.4)15/15
default-CMA-ES Gissler 1.7 (1)2.8 (1)2.7 (0.7)2.9 (0.7)2.9 (0.5)2.8 (0.5)3.0 (0.4)15/15
dm-CMA-ES Gissler 2.0 (0.8)2.9 (1)2.8 (0.8)2.9 (0.5)2.9 (0.3)2.9 (0.4)3.0 (0.3)15/15
m-SDWOA Espinoza 5.4 (6)23 (15)32 (10)38 (6)41 (5)41 (4)46 (4)15/15
s-CMA-ES Gissler 1.7 (1.0)3.0 (0.8)2.7 (0.9)2.9 (0.6)2.7 (0.4)2.7 (0.4)3.0 (0.4)15/15
sc-CMA-ES Gissler 2.3 (1)2.7 (0.8)2.8 (0.9)2.9 (0.7)2.9 (0.6)2.7 (0.4)2.9 (0.6)15/15
scd-CMA-ES Gissler 1.9 (2)2.5 (1)2.6 (0.6)2.6 (0.9)2.9 (0.7)2.7 (0.5)2.9 (0.5)15/15
scdm-CMA-ES Gissler 1.4 (1)2.5 (1)2.9 (0.6)3.0 (0.6)3.1 (0.8)3.0 (0.6)3.0 (0.6)15/15
sd-CMA-ES Gissler 2.0 (1)2.6 (1)2.6 (1.0)2.6 (0.5)2.6 (0.4)2.6 (0.5)2.9 (0.4)15/15
sdm-CMA-ES Gissler 1.6 (2)2.8 (0.8)2.9 (0.8)3.0 (0.9)2.9 (0.7)2.8 (0.4)3.1 (0.3)15/15

Δ fopt
f7, 3-D		 1e1
11		 1e0
65		 1e-1
342		 1e-2
464		 1e-3
482		 1e-5
482		 1e-7
535		 #succ
15/15
BIRMIN Kudela 1.9 (2)1.5 (0.9)1.1 (1)2.9 (2)5.0 (5)5.0 (5)5.6 (6)15/15
DIRECT-REV Kudela 2.3 (2)1.9 (1)1.5 (1)2.0 (2)2.8 (3)2.8 (3)3.2 (3)15/15
E-WOA Espinoza 6.9 (6)43 (42)80 (89)121 (133)148 (270)148 (158)136 (199)4/15
I-DBDP-GL Kudela 1.7 (1)1.7 (0.8)1.1 (0.5)1.7 (1)2.5 (2)2.5 (2)2.6 (1)15/15
WOA Espinoza 5.5 (4)92 (231)106 (175)135 (185)175 (249)175 (155)158 (183)3/15
a-CMA-ES Gissler 1.8 (2)1.7 (0.9)0.64 (0.8)0.63 (0.6)0.66 (0.5)0.66 (0.5)0.66 (0.5)15/15
ad-CMA-ES Gissler 2.1 (2)1.3 (0.8)0.47 (0.3)↑10.51 (0.2)↑00.53 (0.2)↑00.53 (0.2)↑00.53 (0.2)↑015/15
adm-CMA-ES Gissler 1.9 (2)1.1 (0.6)0.70 (0.5)0.68 (0.4)0.72 (0.4)0.72 (0.4)0.78 (0.5)15/15
c-CMA-ES Gissler 2.1 (2)1.1 (0.7)0.63 (0.5)0.64 (0.4)0.65 (0.4)0.65 (0.4)0.62 (0.4)15/15
cd-CMA-ES Gissler 2.1 (2)1.8 (0.8)0.63 (0.6)0.72 (0.6)0.80 (0.6)0.80 (0.6)0.85 (0.6)15/15
cdm-CMA-ES Gissler 2.4 (2)2.6 (3)0.90 (0.8)0.86 (0.5)0.86 (0.5)0.86 (0.5)0.89 (0.5)15/15
cma-bp-bbob Brockhoff 3.1 (4)2.5 (2)0.88 (0.5)0.82 (0.5)0.88 (0.5)0.88 (0.5)0.87 (0.5)15/15
cma-bt-bbob Brockhoff 2.2 (1)1.8 (1)0.95 (0.9)0.84 (0.6)0.85 (0.6)0.85 (0.6)0.84 (0.6)15/15
d-CMA-ES Gissler 1.8 (2)1.4 (0.9)0.74 (0.6)0.77 (0.5)0.78 (0.5)0.78 (0.5)0.75 (0.5)15/15
default-CMA-ES Gissler 1.8 (2)2.2 (2)0.88 (0.6)0.80 (0.5)0.81 (0.5)0.81 (0.5)0.87 (0.5)15/15
dm-CMA-ES Gissler 2.3 (2)1.7 (1)0.60 (0.5)0.57 (0.4)0.66 (0.4)0.66 (0.4)0.72 (0.5)15/15
m-SDWOA Espinoza 5.4 (6)7.8 (4)3.4 (1)5.0 (2)5.8 (2)5.8 (2)6.7 (1)15/15
s-CMA-ES Gissler 2.2 (3)1.5 (0.9)0.70 (0.6)0.80 (0.5)0.81 (0.5)0.81 (0.5)0.80 (0.4)15/15
sc-CMA-ES Gissler 1.2 (0.9)0.88 (0.7)0.68 (0.5)0.67 (0.4)0.74 (0.5)0.74 (0.5)0.74 (0.4)15/15
scd-CMA-ES Gissler 1.9 (2)1.6 (1)0.56 (0.3)↑10.51 (0.4)0.58 (0.6)0.58 (0.6)0.59 (0.5)15/15
scdm-CMA-ES Gissler 2.7 (3)1.7 (1)0.71 (0.7)0.67 (0.5)0.68 (0.5)0.68 (0.5)0.74 (0.4)15/15
sd-CMA-ES Gissler 2.7 (2)1.6 (2)0.69 (0.7)0.65 (0.5)0.69 (0.5)0.69 (0.5)0.77 (0.4)15/15
sdm-CMA-ES Gissler 2.3 (3)1.6 (0.9)0.55 (0.5)0.58 (0.3)0.60 (0.3)↑10.60 (0.3)↑10.78 (0.6)15/15

Δ fopt
f8, 3-D		 1e1
27		 1e0
45		 1e-1
152		 1e-2
179		 1e-3
188		 1e-5
198		 1e-7
208		 #succ
15/15
BIRMIN Kudela 1.5 (0.8)2.0 (2)0.80 (0.5)0.80 (0.4)0.81 (0.4)0.81 (0.3)0.80 (0.3)15/15
DIRECT-REV Kudela 0.81 (0.5)1.5 (1)0.69 (0.3)0.68 (0.3)0.70 (0.3)0.72 (0.3)0.71 (0.2)15/15
E-WOA Espinoza 27 (24)140 (228)85 (66)99 (94)105 (91)129 (94)138 (91)11/15
I-DBDP-GL Kudela 3.6 (2)8.1 (4)7.5 (2)12 (4)16 (4)25 (7)38 (8)15/15
WOA Espinoza 10 (5)64 (27)190 (212)358 (509)666 (721)∞∞3e40/15
a-CMA-ES Gissler 2.1 (2)5.2 (6)2.9 (2)3.0 (2)3.2 (2)3.5 (2)3.7 (2)15/15
ad-CMA-ES Gissler 2.2 (2)5.8 (5)3.0 (2)3.4 (2)3.6 (2)3.9 (1)4.1 (1)15/15
adm-CMA-ES Gissler 2.5 (1)6.6 (4)3.3 (2)3.4 (2)3.5 (1)3.9 (1)4.1 (1)15/15
c-CMA-ES Gissler 2.1 (2)8.1 (4)4.0 (2)3.9 (2)4.1 (1)4.4 (1)4.7 (1)15/15
cd-CMA-ES Gissler 1.7 (1)8.7 (9)4.0 (3)4.0 (3)4.2 (3)4.5 (3)4.8 (3)15/15
cdm-CMA-ES Gissler 2.1 (1)5.3 (4)3.6 (1)3.8 (1)4.0 (1)4.4 (0.9)4.7 (1)15/15
cma-bp-bbob Brockhoff 2.1 (2)5.9 (5)3.2 (2)3.3 (1)3.5 (2)3.9 (1)4.1 (1)15/15
cma-bt-bbob Brockhoff 2.7 (1)4.6 (2)2.6 (1)3.0 (0.9)3.1 (0.9)3.5 (0.7)3.7 (0.8)15/15
d-CMA-ES Gissler 2.5 (1.0)5.7 (4)3.2 (2)3.4 (1)3.6 (1)3.9 (1)4.2 (1)15/15
default-CMA-ES Gissler 2.1 (1)5.2 (4)3.1 (2)3.3 (2)3.5 (2)3.8 (2)4.0 (2)15/15
dm-CMA-ES Gissler 1.9 (1)5.4 (8)3.0 (2)3.1 (2)3.3 (2)3.7 (2)4.0 (2)15/15
m-SDWOA Espinoza 15 (12)33 (8)36 (9)39 (11)43 (9)52 (5)57 (6)14/15
s-CMA-ES Gissler 2.1 (1)5.0 (3)3.0 (1)3.2 (1.0)3.4 (0.9)3.7 (0.8)3.9 (0.9)15/15
sc-CMA-ES Gissler 1.9 (2)7.6 (11)4.1 (3)4.2 (3)4.4 (3)4.6 (3)4.8 (3)15/15
scd-CMA-ES Gissler 2.2 (2)6.0 (5)3.4 (2)3.7 (2)3.9 (2)4.2 (1)4.5 (1)15/15
scdm-CMA-ES Gissler 2.9 (2)8.3 (5)4.2 (2)4.3 (1)4.5 (1)4.7 (1)4.9 (1)15/15
sd-CMA-ES Gissler 2.6 (2)10 (10)4.5 (3)4.5 (3)4.5 (3)4.8 (3)5.0 (3)15/15
sdm-CMA-ES Gissler 3.1 (2)8.6 (7)4.2 (2)4.1 (2)4.3 (2)4.5 (2)4.8 (2)15/15

Δ fopt
f9, 3-D		 1e1
21		 1e0
65		 1e-1
127		 1e-2
149		 1e-3
159		 1e-5
169		 1e-7
178		 #succ
15/15
BIRMIN Kudela 1.8 (0.8)1.6 (1.0)1.1 (0.5)1.1 (0.4)1.0 (0.4)1.0 (0.4)1.0 (0.4)15/15
DIRECT-REV Kudela 1.7 (0.6)0.91 (0.5)★0.73 (0.3)★0.76 (0.2)★0.77 (0.2)★0.78 (0.2)0.77 (0.2)15/15
E-WOA Espinoza 20 (20)53 (88)305 (511)1399 (1254)2725 (3208)2580 (1908)2468 (2191)1/15
I-DBDP-GL Kudela 6.1 (4)6.5 (2)10 (4)14 (6)20 (5)35 (13)54 (19)15/15
WOA Espinoza 13 (8)92 (255)172 (181)572 (680)1259 (1307)∞∞3e40/15
a-CMA-ES Gissler 2.1 (2)3.4 (2)3.4 (2)3.5 (1)3.7 (1)4.1 (1)4.3 (1)15/15
ad-CMA-ES Gissler 2.5 (1)2.6 (3)3.1 (1)3.4 (1)3.6 (1)3.9 (0.9)4.3 (0.8)15/15
adm-CMA-ES Gissler 2.2 (2)3.3 (2)3.2 (2)3.4 (2)3.6 (1)4.0 (1)4.3 (1)15/15
c-CMA-ES Gissler 2.5 (2)3.9 (3)3.9 (2)4.1 (2)4.3 (2)4.6 (2)5.0 (2)15/15
cd-CMA-ES Gissler 2.5 (2)4.7 (3)4.4 (2)4.6 (2)4.8 (2)5.1 (2)5.4 (2)15/15
cdm-CMA-ES Gissler 2.9 (1)4.6 (3)4.3 (2)4.6 (2)4.7 (2)5.0 (2)5.3 (2)15/15
cma-bp-bbob Brockhoff 1.9 (1)3.3 (3)3.5 (2)3.7 (2)3.9 (2)4.3 (1)4.6 (1)15/15
cma-bt-bbob Brockhoff 2.7 (2)5.0 (4)4.6 (2)4.6 (2)4.7 (1)5.0 (2)5.2 (1)15/15
d-CMA-ES Gissler 2.4 (2)3.2 (2)3.5 (1)3.7 (1.0)3.8 (0.8)4.2 (0.9)4.6 (0.8)15/15
default-CMA-ES Gissler 2.6 (2)5.1 (5)4.2 (3)4.3 (2)4.3 (2)4.7 (2)4.9 (2)15/15
dm-CMA-ES Gissler 2.4 (2)4.0 (3)3.6 (2)3.9 (1)4.0 (1)4.3 (1)4.7 (1)15/15
m-SDWOA Espinoza 21 (8)17 (5)19 (5)26 (5)31 (4)40 (4)47 (4)15/15
s-CMA-ES Gissler 2.0 (1)4.6 (5)4.1 (3)4.2 (3)4.3 (2)4.7 (2)4.9 (2)15/15
sc-CMA-ES Gissler 2.4 (2)5.1 (4)4.7 (2)5.2 (2)5.3 (2)5.5 (2)5.7 (2)15/15
scd-CMA-ES Gissler 2.6 (1)4.3 (4)4.4 (3)4.5 (3)4.7 (3)5.0 (2)5.3 (2)15/15
scdm-CMA-ES Gissler 2.8 (2)5.1 (5)4.3 (3)4.5 (2)4.5 (2)4.9 (2)5.1 (2)15/15
sd-CMA-ES Gissler 2.2 (2)4.0 (3)4.4 (2)4.6 (2)4.6 (2)4.9 (2)5.1 (1)15/15
sdm-CMA-ES Gissler 2.7 (1)3.1 (2)3.6 (1)3.8 (1)3.9 (1)4.2 (1)4.5 (1)15/15

Δ fopt
f10, 3-D		 1e1
114		 1e0
152		 1e-1
168		 1e-2
180		 1e-3
194		 1e-5
218		 1e-7
242		 #succ
15/15
BIRMIN Kudela 0.51 (0.4)0.55 (0.3)↑10.60 (0.2)↑10.61 (0.3)↑10.62 (0.3)345 (688)4030 (4804)2/15
DIRECT-REV Kudela 0.47 (0.4)↑10.47 (0.3)↑00.52 (0.2)↑10.53 (0.2)↑10.55 (0.3)↑1510 (860)2482 (2169)1/15
E-WOA Espinoza 353 (398)1348 (1183)1226 (1247)1156 (1416)1083 (1272)972 (1202)895 (862)2/15
I-DBDP-GL Kudela 16 (12)73 (79)132 (106)172 (104)211 (122)305 (139)433 (221)9/15
WOA Espinoza 752 (797)2771 (2418)∞∞∞∞∞3e40/15
a-CMA-ES Gissler 2.6 (2)2.6 (1)2.8 (0.9)2.9 (0.7)2.9 (0.7)3.0 (0.6)3.1 (0.6)15/15
ad-CMA-ES Gissler 1.9 (1)2.1 (0.8)2.4 (0.6)2.5 (0.5)2.6 (0.4)2.7 (0.4)2.9 (0.5)15/15
adm-CMA-ES Gissler 2.4 (1)2.2 (0.6)2.4 (0.5)2.5 (0.5)2.6 (0.5)2.8 (0.4)3.0 (0.4)15/15
c-CMA-ES Gissler 2.3 (1)2.6 (0.8)2.7 (0.7)2.8 (0.6)2.9 (0.4)2.9 (0.5)3.0 (0.5)15/15
cd-CMA-ES Gissler 2.3 (0.9)2.3 (0.8)2.4 (0.6)2.6 (0.5)2.7 (0.4)2.9 (0.4)3.0 (0.3)15/15
cdm-CMA-ES Gissler 2.3 (1)2.3 (0.7)2.6 (0.6)2.8 (0.5)2.8 (0.4)2.9 (0.6)3.1 (0.5)15/15
cma-bp-bbob Brockhoff 2.2 (0.8)2.5 (0.8)2.6 (0.7)2.7 (0.8)2.8 (0.6)3.0 (0.7)3.0 (0.5)15/15
cma-bt-bbob Brockhoff 2.2 (1)2.3 (0.8)2.5 (0.7)2.6 (0.8)2.7 (0.6)2.9 (0.7)3.0 (0.7)15/15
d-CMA-ES Gissler 2.4 (1)2.4 (0.7)2.6 (0.4)2.6 (0.4)2.7 (0.4)2.9 (0.3)3.0 (0.2)15/15
default-CMA-ES Gissler 2.5 (1)2.5 (0.5)2.6 (0.7)2.7 (0.4)2.7 (0.5)2.8 (0.4)2.9 (0.4)15/15
dm-CMA-ES Gissler 2.3 (0.8)2.3 (0.8)2.4 (0.6)2.5 (0.6)2.6 (0.6)2.8 (0.6)3.0 (0.4)15/15
m-SDWOA Espinoza 18 (4)20 (4)23 (4)28 (3)31 (3)36 (2)41 (3)15/15
s-CMA-ES Gissler 2.2 (1)2.4 (1)2.6 (1.0)2.6 (0.9)2.6 (1.0)2.7 (0.9)2.9 (0.9)15/15
sc-CMA-ES Gissler 2.3 (1)2.3 (1)2.5 (0.7)2.7 (0.6)2.8 (0.5)2.9 (0.5)2.9 (0.4)15/15
scd-CMA-ES Gissler 2.4 (0.8)2.6 (0.7)2.7 (0.6)2.7 (0.5)2.8 (0.3)2.9 (0.5)3.1 (0.4)15/15
scdm-CMA-ES Gissler 2.6 (1)2.6 (0.6)2.7 (0.6)2.8 (0.6)2.9 (0.5)3.1 (0.3)3.2 (0.4)15/15
sd-CMA-ES Gissler 2.4 (1)2.4 (0.9)2.6 (0.5)2.7 (0.6)2.8 (0.5)2.9 (0.5)3.0 (0.4)15/15
sdm-CMA-ES Gissler 2.5 (1)2.4 (0.8)2.4 (0.4)2.6 (0.4)2.6 (0.4)2.8 (0.3)2.9 (0.3)15/15

Δ fopt
f11, 3-D		 1e1
67		 1e0
105		 1e-1
227		 1e-2
263		 1e-3
277		 1e-5
302		 1e-7
327		 #succ
15/15
BIRMIN Kudela 0.76 (0.4)0.64 (0.3)↑00.41 (0.2)↑00.46 (0.2)↑00.61 (0.2)↑1333 (499)6423 (7569)0/15
DIRECT-REV Kudela 0.55 (0.2)↑00.62 (0.2)↑10.43 (0.2)↑00.40 (0.2)↑00.97 (0.8)746 (746)∞2e50/15
E-WOA Espinoza 165 (224)573 (566)902 (1149)1668 (1711)1603 (1787)∞∞3e40/15
I-DBDP-GL Kudela 21 (14)65 (51)58 (50)76 (50)100 (62)134 (67)199 (90)14/15
WOA Espinoza 268 (449)1212 (1076)1928 (3106)∞∞∞∞3e40/15
a-CMA-ES Gissler 3.7 (2)3.3 (0.8)1.8 (0.4)1.7 (0.3)1.8 (0.3)2.0 (0.3)2.1 (0.3)15/15
ad-CMA-ES Gissler 2.8 (2)2.9 (0.7)1.6 (0.2)1.6 (0.2)1.7 (0.2)1.9 (0.2)2.0 (0.2)15/15
adm-CMA-ES Gissler 3.9 (2)3.5 (0.8)1.8 (0.4)1.8 (0.4)1.8 (0.4)2.0 (0.3)2.2 (0.3)15/15
c-CMA-ES Gissler 3.8 (2)3.5 (0.7)1.8 (0.4)1.7 (0.3)1.8 (0.2)2.1 (0.3)2.2 (0.2)15/15
cd-CMA-ES Gissler 4.0 (1)3.5 (0.5)1.8 (0.2)1.7 (0.2)1.9 (0.3)2.0 (0.3)2.2 (0.3)15/15
cdm-CMA-ES Gissler 4.2 (2)3.4 (0.9)1.8 (0.3)1.7 (0.4)1.8 (0.3)2.0 (0.3)2.2 (0.3)15/15
cma-bp-bbob Brockhoff 3.8 (2)3.2 (1)1.9 (0.4)1.8 (0.4)1.9 (0.4)2.0 (0.3)2.2 (0.4)15/15
cma-bt-bbob Brockhoff 4.4 (4)4.0 (3)2.2 (1)2.0 (0.9)2.1 (0.8)2.2 (0.9)2.3 (0.8)15/15
d-CMA-ES Gissler 3.5 (2)3.0 (0.9)1.7 (0.4)1.6 (0.4)1.8 (0.2)1.9 (0.2)2.1 (0.2)15/15
default-CMA-ES Gissler 4.1 (2)3.8 (0.5)2.0 (0.4)1.8 (0.2)1.9 (0.2)2.1 (0.2)2.2 (0.2)15/15
dm-CMA-ES Gissler 3.1 (2)2.8 (0.9)1.6 (0.3)1.7 (0.3)1.7 (0.2)1.9 (0.2)2.1 (0.2)15/15
m-SDWOA Espinoza 14 (6)18 (5)14 (2)15 (2)18 (2)22 (2)26 (2)15/15
s-CMA-ES Gissler 3.8 (2)3.6 (1.0)1.8 (0.5)1.8 (0.4)1.9 (0.3)2.0 (0.3)2.1 (0.3)15/15
sc-CMA-ES Gissler 4.2 (2)3.9 (1)2.0 (0.5)1.9 (0.4)1.9 (0.4)2.1 (0.4)2.2 (0.4)15/15
scd-CMA-ES Gissler 4.3 (3)3.6 (1)1.9 (0.5)1.8 (0.5)1.9 (0.4)2.1 (0.4)2.2 (0.4)15/15
scdm-CMA-ES Gissler 3.8 (1)3.3 (1)1.8 (0.6)1.7 (0.4)1.8 (0.4)2.0 (0.4)2.1 (0.4)15/15
sd-CMA-ES Gissler 4.1 (3)3.7 (0.9)2.0 (0.4)1.9 (0.4)2.0 (0.2)2.1 (0.3)2.3 (0.3)15/15
sdm-CMA-ES Gissler 3.7 (2)3.2 (0.7)1.7 (0.3)1.6 (0.4)1.7 (0.4)1.9 (0.3)2.0 (0.3)15/15

Δ fopt
f12, 3-D		 1e1
65		 1e0
168		 1e-1
338		 1e-2
401		 1e-3
445		 1e-5
696		 1e-7
790		 #succ
15/15
BIRMIN Kudela 1.3 (0.8)0.86 (1)0.68 (0.9)0.68 (0.9)0.70 (0.9)108 (270)380 (475)4/15
DIRECT-REV Kudela 1.4 (0.9)1.3 (0.9)0.96 (0.7)0.94 (0.7)0.92 (0.7)161 (216)286 (332)5/15
E-WOA Espinoza 386 (485)340 (352)302 (309)348 (281)327 (317)645 (474)∞3e40/15
I-DBDP-GL Kudela 22 (8)18 (15)24 (13)36 (31)58 (33)66 (36)88 (28)15/15
WOA Espinoza 455 (465)1182 (1116)∞∞∞∞∞3e40/15
a-CMA-ES Gissler 3.5 (0.9)2.6 (2)2.6 (2)3.0 (3)3.2 (3)2.7 (2)2.8 (2)15/15
ad-CMA-ES Gissler 8.3 (10)5.2 (6)3.2 (3)3.0 (3)2.9 (3)2.2 (2)2.2 (2)15/15
adm-CMA-ES Gissler 6.4 (5)5.2 (5)3.5 (3)3.3 (3)3.2 (3)2.5 (2)2.6 (2)15/15
c-CMA-ES Gissler 5.9 (3)4.2 (3)3.3 (3)3.3 (3)3.4 (2)2.8 (2)2.9 (2)15/15
cd-CMA-ES Gissler 5.0 (3)4.4 (5)3.5 (4)3.8 (4)3.9 (3)3.3 (2)3.5 (2)15/15
cdm-CMA-ES Gissler 4.6 (2)4.2 (3)3.4 (2)3.4 (3)3.4 (2)2.8 (2)2.9 (2)15/15
cma-bp-bbob Brockhoff 4.1 (2)3.6 (3)3.3 (2)3.5 (3)3.6 (2)3.0 (2)3.2 (2)15/15
cma-bt-bbob Brockhoff 9.0 (11)6.6 (7)4.6 (4)4.5 (4)4.6 (3)3.7 (3)3.8 (2)15/15
d-CMA-ES Gissler 6.3 (2)4.7 (5)3.7 (4)3.9 (5)3.9 (4)3.1 (3)3.4 (3)15/15
default-CMA-ES Gissler 6.3 (4)4.4 (5)3.6 (3)3.8 (4)3.8 (4)3.1 (3)3.5 (3)15/15
dm-CMA-ES Gissler 6.8 (9)4.1 (7)2.8 (4)2.9 (3)3.0 (3)2.4 (2)2.5 (2)15/15
m-SDWOA Espinoza 51 (14)33 (10)27 (7)28 (12)30 (13)44 (66)41 (48)9/15
s-CMA-ES Gissler 4.9 (3)3.6 (4)2.6 (2)2.5 (2)2.6 (2)2.1 (2)2.2 (2)15/15
sc-CMA-ES Gissler 7.9 (7)5.0 (5)3.7 (3)3.7 (3)3.7 (3)2.9 (3)3.0 (3)15/15
scd-CMA-ES Gissler 5.7 (4)6.1 (5)4.8 (5)4.9 (4)4.9 (4)3.8 (3)3.8 (3)15/15
scdm-CMA-ES Gissler 5.1 (4)3.3 (3)2.3 (3)2.6 (2)2.7 (2)2.4 (2)2.6 (2)15/15
sd-CMA-ES Gissler 7.4 (7)5.3 (6)3.7 (4)3.5 (3)3.6 (3)2.8 (2)2.9 (2)15/15
sdm-CMA-ES Gissler 6.9 (3)4.5 (4)3.3 (3)3.4 (3)3.3 (2)2.7 (2)2.8 (2)15/15

Δ fopt
f13, 3-D		 1e1
49		 1e0
85		 1e-1
108		 1e-2
136		 1e-3
215		 1e-5
281		 1e-7
365		 #succ
15/15
BIRMIN Kudela 1.2 (0.5)1.0 (0.2)0.96 (0.2)0.94 (0.2)466 (1047)1469 (2669)∞2e50/15
DIRECT-REV Kudela 1.1 (0.4)0.93 (0.2)0.90 (0.2)0.86 (0.1)↑180 (60)3492 (4384)∞2e50/15
E-WOA Espinoza 227 (300)846 (501)1919 (3194)3255 (5680)2086 (2372)∞∞3e40/15
I-DBDP-GL Kudela 7.5 (3)15 (5)31 (16)52 (23)66 (28)159 (98)279 (110)12/15
WOA Espinoza 235 (310)441 (706)1204 (1264)∞∞∞∞3e40/15
a-CMA-ES Gissler 3.0 (1)3.1 (1.0)3.5 (0.9)3.3 (0.9)2.5 (0.5)2.7 (0.4)2.7 (0.5)15/15
ad-CMA-ES Gissler 2.9 (0.7)2.9 (0.6)3.3 (0.4)3.4 (0.4)2.6 (0.4)2.7 (0.4)2.7 (0.4)15/15
adm-CMA-ES Gissler 2.7 (1)2.9 (0.8)3.3 (0.6)3.4 (0.4)2.6 (0.2)2.7 (0.3)2.6 (0.2)15/15
c-CMA-ES Gissler 3.3 (2)3.2 (2)3.9 (1)3.9 (0.8)2.9 (0.5)3.0 (0.4)2.9 (0.5)15/15
cd-CMA-ES Gissler 3.3 (2)3.1 (1)3.4 (0.8)3.6 (0.6)2.8 (0.3)2.9 (0.3)2.8 (0.2)15/15
cdm-CMA-ES Gissler 3.2 (2)3.5 (1)3.8 (0.6)3.8 (0.6)2.9 (0.4)3.0 (0.3)2.9 (0.2)15/15
cma-bp-bbob Brockhoff 3.2 (1)3.3 (1)3.4 (1)3.5 (0.8)2.9 (0.4)2.9 (0.5)2.7 (0.3)15/15
cma-bt-bbob Brockhoff 3.3 (1)3.5 (0.8)3.8 (0.9)3.6 (0.6)2.7 (0.4)2.7 (0.3)2.7 (0.3)15/15
d-CMA-ES Gissler 3.2 (1)3.1 (1)3.3 (0.8)3.2 (0.7)2.6 (0.4)2.8 (0.3)2.7 (0.3)15/15
default-CMA-ES Gissler 2.9 (1)3.2 (0.9)3.4 (0.9)3.4 (0.8)2.7 (0.6)2.8 (0.5)2.6 (0.3)15/15
dm-CMA-ES Gissler 2.8 (1.0)2.9 (1)3.4 (0.9)3.6 (0.7)2.8 (0.4)2.8 (0.4)2.7 (0.4)15/15
m-SDWOA Espinoza 23 (10)30 (6)40 (4)45 (3)36 (2)39 (2)39 (1)15/15
s-CMA-ES Gissler 2.9 (2)3.8 (2)4.0 (1)3.9 (1)2.9 (0.5)2.9 (0.4)2.8 (0.5)15/15
sc-CMA-ES Gissler 3.1 (2)4.3 (1)4.4 (1)4.2 (0.9)3.1 (0.6)3.1 (0.6)3.0 (0.5)15/15
scd-CMA-ES Gissler 2.9 (0.9)3.4 (0.8)3.7 (0.9)3.7 (0.5)2.8 (0.5)3.0 (0.4)2.8 (0.4)15/15
scdm-CMA-ES Gissler 2.9 (1)3.0 (2)3.2 (1)3.4 (0.9)2.7 (0.7)2.8 (0.5)3.0 (0.4)15/15
sd-CMA-ES Gissler 2.5 (2)3.2 (1)3.6 (1)3.4 (1.0)2.6 (0.7)2.8 (0.5)2.7 (0.4)15/15
sdm-CMA-ES Gissler 3.0 (2)3.2 (1)3.4 (0.7)3.5 (0.5)2.7 (0.3)2.6 (0.3)2.7 (0.3)15/15

Δ fopt
f14, 3-D		 1e1
2.0		 1e0
17		 1e-1
28		 1e-2
43		 1e-3
71		 1e-5
110		 1e-7
194		 #succ
15/15
BIRMIN Kudela 0.97 (0.8)2.3 (2)2.5 (0.9)4.7 (8)50 (62)497 (682)3094 (2706)0/15
DIRECT-REV Kudela 3.4 (5)3.1 (2)2.6 (1)2.4 (0.9)1.7 (0.4)1.4 (0.3)5027 (6766)2/15
E-WOA Espinoza 2.1 (2)7.4 (9)46 (35)136 (103)287 (288)718 (679)2296 (2668)1/15
I-DBDP-GL Kudela 0.97 (0.8)1.9 (1)5.5 (2)11 (6)17 (9)70 (41)311 (244)10/15
WOA Espinoza 2.1 (2)4.6 (4)17 (11)229 (353)574 (717)3982 (3409)∞3e40/15
a-CMA-ES Gissler 1.7 (2)1.8 (0.8)3.0 (0.9)3.8 (1)3.6 (0.7)3.9 (0.6)3.1 (0.4)15/15
ad-CMA-ES Gissler 2.5 (2)2.5 (3)3.3 (2)4.2 (1)3.7 (0.6)4.0 (0.9)3.4 (0.5)15/15
adm-CMA-ES Gissler 1.9 (3)1.4 (1)3.1 (0.9)4.0 (1)3.6 (1)3.9 (0.7)3.2 (0.5)15/15
c-CMA-ES Gissler 1.3 (1)1.7 (2)2.8 (1.0)3.5 (1)3.7 (1)4.4 (0.8)3.5 (0.6)15/15
cd-CMA-ES Gissler 1.7 (2)1.8 (2)3.5 (0.7)4.0 (0.8)3.7 (0.8)4.4 (0.7)3.5 (0.4)15/15
cdm-CMA-ES Gissler 1.7 (2)1.5 (0.9)3.4 (1)3.8 (0.8)3.6 (0.9)4.2 (0.5)3.3 (0.3)15/15
cma-bp-bbob Brockhoff 1.3 (1)2.2 (1)3.5 (0.9)4.4 (2)3.9 (0.9)4.2 (0.7)3.3 (0.3)15/15
cma-bt-bbob Brockhoff 1.1 (0.8)1.8 (0.9)3.8 (1)3.9 (0.9)3.5 (0.7)3.9 (0.6)3.1 (0.5)15/15
d-CMA-ES Gissler 2.1 (3)2.3 (2)3.4 (1)4.1 (1)3.6 (0.9)4.1 (0.8)3.2 (0.5)15/15
default-CMA-ES Gissler 1.6 (2)1.9 (2)3.3 (1)3.5 (0.9)3.4 (0.9)3.8 (1.0)3.2 (0.6)15/15
dm-CMA-ES Gissler 2.3 (4)1.8 (1)2.8 (2)3.9 (1.0)3.3 (1.0)3.8 (1)3.2 (0.5)15/15
m-SDWOA Espinoza 2.1 (2)5.1 (4)27 (12)45 (9)42 (6)50 (5)42 (3)15/15
s-CMA-ES Gissler 2.6 (3)1.8 (1)3.3 (2)3.5 (1)3.4 (0.8)3.7 (0.6)3.1 (0.4)15/15
sc-CMA-ES Gissler 3.2 (4)2.5 (2)3.3 (2)4.2 (2)3.7 (0.8)4.3 (0.8)3.6 (0.7)15/15
scd-CMA-ES Gissler 1.4 (2)1.8 (1)3.0 (0.9)3.7 (2)3.4 (1)4.1 (1)3.4 (0.6)15/15
scdm-CMA-ES Gissler 2.0 (3)1.6 (1)3.4 (1)3.9 (0.7)3.7 (0.7)4.1 (0.5)3.2 (0.4)15/15
sd-CMA-ES Gissler 2.4 (4)2.4 (2)3.4 (1)3.6 (1)3.6 (1)3.9 (0.6)3.2 (0.6)15/15
sdm-CMA-ES Gissler 1.8 (2)1.8 (2)3.2 (2)3.6 (1)3.5 (1)3.8 (0.7)3.0 (0.4)15/15

Δ fopt
f15, 3-D		 1e1
121		 1e0
1372		 1e-1
6285		 1e-2
8282		 1e-3
8429		 1e-5
8787		 1e-7
9041		 #succ
15/15
BIRMIN Kudela 0.59 (0.5)1.5 (1)1.0 (0.8)0.93 (1.0)0.96 (1.0)3.4 (9)3.3 (8)13/15
DIRECT-REV Kudela 1.3 (0.8)0.75 (0.5)1.3 (2)0.96 (1)0.95 (1)0.91 (1)0.89 (1)15/15
E-WOA Espinoza 30 (44)57 (113)∞∞∞∞∞3e40/15
I-DBDP-GL Kudela 1.6 (1)1.2 (0.3)0.97 (1)0.79 (0.8)0.85 (0.8)0.99 (0.8)1.2 (0.8)15/15
WOA Espinoza 2.1 (1)∞∞∞∞∞∞3e40/15
a-CMA-ES Gissler 1.7 (1.0)1.6 (1)1.2 (1)0.92 (0.9)0.92 (0.9)0.92 (0.9)0.94 (0.9)15/15
ad-CMA-ES Gissler 0.75 (0.5)1.2 (1)1.1 (1)0.89 (1)0.91 (1)0.91 (1)0.92 (1)15/15
adm-CMA-ES Gissler 1.1 (0.9)1.7 (1)0.81 (0.7)0.63 (0.5)0.64 (0.5)0.64 (0.5)0.65 (0.5)15/15
c-CMA-ES Gissler 2.3 (5)2.1 (2)0.93 (0.8)0.74 (0.7)0.74 (0.7)0.75 (0.6)0.75 (0.6)15/15
cd-CMA-ES Gissler 0.83 (0.5)1.4 (1)1.3 (1)1.0 (1)1.0 (1)1.0 (1)1.0 (1)15/15
cdm-CMA-ES Gissler 1.0 (0.5)1.6 (1)0.94 (0.7)0.74 (0.5)0.74 (0.5)0.74 (0.5)0.75 (0.5)15/15
cma-bp-bbob Brockhoff 0.90 (0.7)1.3 (1)1.3 (2)1.0 (1)1.0 (1)1.0 (1)1.0 (1)15/15
cma-bt-bbob Brockhoff 1.3 (1)1.3 (1)1.7 (2)1.3 (2)1.3 (2)1.2 (2)1.2 (2)13/15
d-CMA-ES Gissler 0.97 (0.5)1.2 (1)0.80 (0.8)0.63 (0.6)0.63 (0.6)0.63 (0.6)0.64 (0.6)15/15
default-CMA-ES Gissler 1.5 (0.9)1.00 (1)0.98 (0.9)0.77 (0.7)0.77 (0.7)0.78 (0.7)0.79 (0.7)15/15
dm-CMA-ES Gissler 1.6 (0.5)1.3 (1)0.75 (0.9)0.67 (0.6)0.68 (0.7)0.68 (0.6)0.69 (0.6)15/15
m-SDWOA Espinoza 5.0 (3)5.9 (2)2.4 (0.8)2.3 (0.5)2.4 (0.4)2.5 (0.5)2.6 (0.4)15/15
s-CMA-ES Gissler 1.1 (0.6)1.4 (1)1.1 (0.8)0.85 (0.6)0.86 (0.6)0.85 (0.6)0.87 (0.6)15/15
sc-CMA-ES Gissler 1.3 (0.9)1.8 (2)0.91 (0.8)0.72 (0.6)0.72 (0.6)0.72 (0.6)0.73 (0.6)15/15
scd-CMA-ES Gissler 1.00 (0.7)1.7 (0.9)1.2 (0.9)0.92 (0.7)0.92 (0.7)0.92 (0.6)0.93 (0.6)15/15
scdm-CMA-ES Gissler 1.5 (1)2.3 (2)1.5 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
sd-CMA-ES Gissler 0.85 (0.7)0.76 (0.5)0.78 (0.8)0.61 (0.6)0.62 (0.6)0.62 (0.6)0.63 (0.6)15/15
sdm-CMA-ES Gissler 0.95 (0.7)1.1 (1)0.75 (0.3)0.61 (0.2)↑10.62 (0.2)↑10.62 (0.2)↑10.63 (0.2)↑115/15

Δ fopt
f16, 3-D		 1e1
41		 1e0
319		 1e-1
582		 1e-2
789		 1e-3
1864		 1e-5
3204		 1e-7
3361		 #succ
15/15
BIRMIN Kudela 2.6 (2)1.8 (1)1.9 (1)2.5 (2)3.3 (2)113 (77)∞2e50/15
DIRECT-REV Kudela 3.2 (3)1.7 (1)1.7 (0.9)2.7 (2)2.1 (1)39 (59)626 (770)0/15
E-WOA Espinoza 3.1 (4)12 (15)58 (97)255 (332)229 (322)135 (187)130 (145)1/15
I-DBDP-GL Kudela 1.5 (2)1.2 (0.6)1.4 (0.4)1.4 (0.4)0.92 (0.3)1.1 (0.4)1.6 (0.4)15/15
WOA Espinoza 2.1 (2)2.8 (2)64 (77)112 (191)106 (145)∞∞3e40/15
a-CMA-ES Gissler 1.4 (2)4.6 (3)3.8 (4)3.0 (3)1.3 (1)0.81 (0.7)0.81 (0.7)15/15
ad-CMA-ES Gissler 1.5 (2)1.7 (2)1.8 (2)1.7 (1)0.78 (0.5)0.49 (0.3)↑10.52 (0.3)↑115/15
adm-CMA-ES Gissler 1.0 (0.9)2.7 (3)3.8 (3)3.3 (3)1.5 (1)0.91 (0.7)0.92 (0.6)15/15
c-CMA-ES Gissler 1.8 (2)3.7 (6)2.7 (3)2.5 (3)1.1 (1)0.88 (1)0.88 (1)15/15
cd-CMA-ES Gissler 1.4 (2)1.6 (3)2.4 (4)1.9 (3)0.96 (1)0.65 (0.8)0.66 (0.8)15/15
cdm-CMA-ES Gissler 1.5 (2)1.2 (0.6)1.4 (2)2.0 (3)0.88 (1)0.56 (0.6)0.60 (0.6)15/15
cma-bp-bbob Brockhoff 1.1 (2)2.9 (3)3.6 (2)3.2 (3)1.5 (1)0.96 (0.7)0.96 (0.7)15/15
cma-bt-bbob Brockhoff 0.51 (0.4)↑11.7 (2)1.4 (1)2.8 (1)1.3 (0.6)0.88 (0.3)↑10.88 (0.3)↑115/15
d-CMA-ES Gissler 1.4 (2)1.7 (3)2.2 (3)1.8 (3)0.81 (1)0.51 (0.7)0.53 (0.7)15/15
default-CMA-ES Gissler 1.5 (2)1.8 (3)1.3 (2)1.2 (1)0.79 (1)0.53 (0.6)0.54 (0.6)15/15
dm-CMA-ES Gissler 1.2 (1)1.9 (3)2.1 (2)1.8 (1)0.85 (0.5)0.56 (0.3)↑10.73 (0.6)15/15
m-SDWOA Espinoza 2.4 (3)5.1 (4)22 (9)38 (23)57 (44)34 (36)66 (74)2/15
s-CMA-ES Gissler 1.9 (2)2.4 (2)2.8 (3)3.2 (4)1.4 (2)0.87 (1)0.88 (1)15/15
sc-CMA-ES Gissler 2.0 (2)2.8 (3)2.8 (3)2.8 (3)1.6 (1)1.0 (0.8)1.0 (0.7)15/15
scd-CMA-ES Gissler 1.0 (1)1.7 (2)2.1 (2)2.4 (2)1.1 (1)0.72 (0.7)0.74 (0.6)15/15
scdm-CMA-ES Gissler 2.0 (1)3.0 (6)3.5 (4)3.3 (3)1.5 (1)0.93 (0.8)1.1 (1)15/15
sd-CMA-ES Gissler 1.6 (1)3.7 (5)3.3 (4)2.9 (3)1.5 (1)0.95 (0.8)0.95 (0.7)15/15
sdm-CMA-ES Gissler 2.0 (2)2.7 (3)2.9 (4)2.3 (3)1.1 (1)0.66 (0.7)0.78 (0.7)15/15

Δ fopt
f17, 3-D		 1e1
4.0		 1e0
78		 1e-1
282		 1e-2
491		 1e-3
1134		 1e-5
2347		 1e-7
3469		 #succ
15/15
BIRMIN Kudela 1.3 (2)1.7 (1)1.9 (1)21 (24)272 (431)∞∞2e50/15
DIRECT-REV Kudela 1.3 (2)2.1 (1)1.9 (1)4.5 (4)21 (34)∞∞2e50/15
E-WOA Espinoza 2.0 (3)29 (30)69 (85)151 (218)188 (164)∞∞3e40/15
I-DBDP-GL Kudela 1.2 (1)1.7 (0.9)2.1 (0.7)3.8 (2)3.1 (0.8)4.0 (0.5)4.7 (0.5)15/15
WOA Espinoza 2.0 (3)11 (10)80 (133)269 (378)382 (496)∞∞3e40/15
a-CMA-ES Gissler 1.1 (1)1.3 (1)1.9 (2)1.9 (2)1.1 (0.7)1.1 (0.7)1.1 (0.6)15/15
ad-CMA-ES Gissler 2.0 (2)1.1 (1.0)0.87 (0.3)0.77 (0.2)↑10.75 (0.6)0.95 (0.8)1.1 (0.5)15/15
adm-CMA-ES Gissler 0.77 (0.6)0.99 (0.3)1.2 (0.4)1.2 (1)0.72 (0.7)1.3 (0.5)1.3 (0.5)15/15
c-CMA-ES Gissler 0.93 (1)1.3 (0.7)1.1 (0.6)1.5 (1)1.0 (0.6)1.0 (0.5)0.87 (0.4)15/15
cd-CMA-ES Gissler 1.4 (2)3.7 (0.9)1.7 (2)1.7 (2)0.89 (1.0)0.84 (0.7)0.72 (0.6)15/15
cdm-CMA-ES Gissler 0.87 (1)1 (0.7)0.81 (0.2)0.89 (0.2)0.75 (0.7)0.90 (0.4)0.93 (0.6)15/15
cma-bp-bbob Brockhoff 1.6 (2)0.98 (0.6)0.69 (0.2)↑10.66 (0.1)↑00.54 (0.4)0.84 (0.9)0.82 (0.6)15/15
cma-bt-bbob Brockhoff 2.0 (3)1.1 (0.5)0.78 (0.3)1.0 (1)0.73 (0.5)0.78 (0.4)1.0 (0.6)15/15
d-CMA-ES Gissler 1.5 (2)0.93 (0.5)0.74 (0.3)0.89 (0.3)0.65 (0.6)1.1 (0.9)0.92 (0.5)15/15
default-CMA-ES Gissler 0.78 (0.8)1.2 (0.4)1.7 (2)1.3 (1)0.73 (0.5)1.00 (0.8)0.98 (0.5)15/15
dm-CMA-ES Gissler 1.0 (2)1.5 (2)2.0 (4)1.5 (2)0.84 (0.9)0.88 (0.5)1.2 (0.5)15/15
m-SDWOA Espinoza 2.0 (3)6.6 (3)8.8 (2)11 (2)7.3 (1)6.5 (0.5)6.0 (0.3)15/15
s-CMA-ES Gissler 0.82 (0.9)1.7 (0.5)1.6 (2)1.3 (1)1.1 (0.9)1.0 (0.6)0.92 (0.4)15/15
sc-CMA-ES Gissler 1.3 (2)0.86 (0.4)0.89 (0.3)1.5 (1)1.2 (0.8)1.2 (0.6)1.0 (0.5)15/15
scd-CMA-ES Gissler 0.78 (0.8)1.3 (1.0)1.4 (2)1.7 (1)1.1 (0.7)1.1 (0.7)0.95 (0.7)15/15
scdm-CMA-ES Gissler 1.2 (2)1.8 (0.8)1.7 (2)1.7 (2)1.2 (0.8)1.2 (0.5)0.98 (0.5)15/15
sd-CMA-ES Gissler 1.8 (3)1.3 (0.9)0.87 (0.3)1.0 (0.2)0.94 (0.9)1.0 (0.8)0.88 (0.7)15/15
sdm-CMA-ES Gissler 1.4 (2)1.8 (0.5)1.2 (2)0.95 (1)0.73 (0.6)0.70 (0.4)0.72 (0.6)15/15

Δ fopt
f18, 3-D		 1e1
40		 1e0
145		 1e-1
1289		 1e-2
3084		 1e-3
3523		 1e-5
4738		 1e-7
5527		 #succ
15/15
BIRMIN Kudela 4.8 (9)5.1 (4)1.8 (1)10 (20)94 (119)∞∞2e50/15
DIRECT-REV Kudela 6.4 (6)11 (11)2.3 (1)2.7 (2)23 (29)∞∞2e50/15
E-WOA Espinoza 7.2 (9)136 (197)97 (81)139 (134)122 (100)∞∞3e40/15
I-DBDP-GL Kudela 1.5 (1)2.5 (1)1.2 (0.4)1.2 (0.6)2.0 (1)3.5 (1)5.0 (2)15/15
WOA Espinoza 3.0 (3)166 (265)71 (74)∞∞∞∞3e40/15
a-CMA-ES Gissler 1.0 (1)2.6 (4)0.89 (1)0.50 (0.6)0.57 (0.6)0.79 (0.4)0.79 (0.4)15/15
ad-CMA-ES Gissler 0.84 (0.5)2.6 (5)0.94 (1)0.50 (0.7)0.59 (0.6)0.61 (0.5)0.62 (0.5)15/15
adm-CMA-ES Gissler 1.1 (1)2.3 (4)0.67 (0.6)0.37 (0.3)↑00.37 (0.2)↑00.62 (0.3)0.73 (0.3)15/15
c-CMA-ES Gissler 0.99 (0.7)2.8 (6)1.1 (0.7)0.69 (0.2)↑10.67 (0.2)↑10.68 (0.4)0.64 (0.4)15/15
cd-CMA-ES Gissler 0.98 (0.6)2.1 (0.6)0.56 (0.6)0.40 (0.4)↑00.54 (0.3)↑10.73 (0.5)0.73 (0.3)15/15
cdm-CMA-ES Gissler 1.1 (0.9)2.4 (4)0.79 (0.8)0.42 (0.4)↑10.53 (0.6)0.66 (0.5)0.66 (0.5)15/15
cma-bp-bbob Brockhoff 0.85 (0.9)5.1 (10)1.8 (2)0.95 (0.8)0.89 (0.8)0.99 (0.5)0.97 (0.4)15/15
cma-bt-bbob Brockhoff 0.61 (0.5)2.2 (4)0.67 (0.6)0.48 (0.3)↑10.47 (0.3)↑10.85 (0.6)0.93 (0.5)15/15
d-CMA-ES Gissler 1.1 (1)2.1 (0.9)1.1 (0.8)0.65 (0.6)0.65 (0.5)0.79 (0.4)0.79 (0.4)15/15
default-CMA-ES Gissler 0.98 (0.9)2.7 (6)0.83 (0.7)0.66 (0.7)0.65 (0.6)0.70 (0.4)0.74 (0.3)15/15
dm-CMA-ES Gissler 0.75 (0.7)2.4 (3)0.79 (0.8)0.66 (0.6)0.63 (0.6)0.75 (0.5)0.78 (0.5)15/15
m-SDWOA Espinoza 3.1 (3)13 (3)3.1 (0.7)2.5 (0.6)3.3 (0.4)4.0 (0.3)4.6 (0.3)14/15
s-CMA-ES Gissler 1.1 (0.9)1.2 (0.4)0.90 (0.7)0.54 (0.3)↑10.61 (0.6)0.81 (0.4)0.96 (0.7)15/15
sc-CMA-ES Gissler 1.1 (1)2.1 (0.7)1.2 (1)0.93 (0.7)0.89 (0.6)0.92 (0.3)1.0 (0.3)15/15
scd-CMA-ES Gissler 0.77 (0.7)1.3 (0.4)0.86 (0.7)0.48 (0.3)↑10.60 (0.6)0.72 (0.5)0.73 (0.5)15/15
scdm-CMA-ES Gissler 0.85 (0.8)1.7 (0.7)0.72 (0.8)0.51 (0.7)0.57 (0.6)0.72 (0.4)0.76 (0.4)15/15
sd-CMA-ES Gissler 0.81 (0.7)1.7 (0.6)0.62 (0.7)0.40 (0.3)↑00.43 (0.3)↑00.69 (0.4)0.74 (0.3)15/15
sdm-CMA-ES Gissler 1.3 (1)2.9 (6)0.90 (0.7)0.66 (0.6)0.71 (0.4)0.70 (0.3)0.66 (0.3)15/15

Δ fopt
f19, 3-D		 1e1
1		 1e0
1		 1e-1
109		 1e-2
6764		 1e-3
7367		 1e-5
7399		 1e-7
7441		 #succ
15/15
BIRMIN Kudela 7.2 (9)950 (1001)41 (29)5.3 (4)6.9 (7)19 (15)92 (69)2/15
DIRECT-REV Kudela 1 (0)1 (0)1.6 (1.0)★21.0 (1)1.6 (2)1.6 (2)1.6 (2)12/15
E-WOA Espinoza 13 (14)570 (512)156 (214)7.3 (9)18 (11)19 (16)29 (23)1/15
I-DBDP-GL Kudela 5.9 (8)332 (282)28 (24)4.0 (5)6.4 (10)6.5 (10)6.6 (10)13/15
WOA Espinoza 13 (14)461 (529)121 (149)∞∞∞∞3e40/15
a-CMA-ES Gissler 1 (0)1 (0)52 (69)2.4 (3)2.5 (4)2.5 (4)2.5 (4)15/15
ad-CMA-ES Gissler 1 (0)1 (0)62 (48)3.9 (5)3.7 (4)3.8 (4)3.8 (4)15/15
adm-CMA-ES Gissler 1 (0)1 (0)61 (61)3.4 (3)3.5 (3)3.5 (3)3.6 (3)15/15
c-CMA-ES Gissler 1 (0)1 (0)42 (40)1.7 (1)1.6 (1)1.6 (1)1.7 (1)15/15
cd-CMA-ES Gissler 1 (0)1 (0)40 (49)2.4 (3)3.6 (3)3.7 (3)3.7 (3)15/15
cdm-CMA-ES Gissler 1 (0)1 (0)58 (64)3.3 (3)3.2 (3)3.2 (3)3.2 (3)15/15
cma-bp-bbob Brockhoff 1 (0)1 (0)57 (38)2.0 (2)2.5 (2)2.5 (2)2.5 (2)13/15
cma-bt-bbob Brockhoff 1 (0)1 (0)44 (48)1.6 (2)1.9 (1)2.0 (1)2.0 (1)15/15
d-CMA-ES Gissler 1 (0)1 (0)40 (56)2.2 (3)2.1 (3)2.2 (3)2.2 (3)15/15
default-CMA-ES Gissler 1 (0)1 (0)37 (42)1.4 (1)1.9 (2)1.9 (2)1.9 (2)15/15
dm-CMA-ES Gissler 1 (0)1 (0)50 (65)3.7 (3)3.5 (3)3.5 (3)3.5 (3)15/15
m-SDWOA Espinoza 13 (14)311 (222)39 (14)2.1 (1.0)4.0 (2)10 (8)30 (34)2/15
s-CMA-ES Gissler 1 (0)1 (0)82 (102)3.8 (4)4.6 (3)4.6 (3)4.7 (3)15/15
sc-CMA-ES Gissler 1 (0)1 (0)58 (51)2.9 (2)3.2 (2)3.2 (3)3.3 (3)15/15
scd-CMA-ES Gissler 1 (0)1 (0)53 (68)3.4 (4)3.4 (4)3.5 (4)3.5 (4)15/15
scdm-CMA-ES Gissler 1 (0)1 (0)38 (40)2.3 (2)2.3 (2)2.6 (2)2.6 (2)15/15
sd-CMA-ES Gissler 1 (0)1 (0)68 (86)2.4 (3)2.8 (2)2.8 (2)2.8 (2)15/15
sdm-CMA-ES Gissler 1 (0)1 (0)50 (52)3.9 (4)4.0 (4)4.1 (4)4.1 (4)15/15

Δ fopt
f20, 3-D		 1e1
8.0		 1e0
385		 1e-1
2291		 1e-2
2398		 1e-3
2481		 1e-5
2573		 1e-7
2776		 #succ
15/15
BIRMIN Kudela 0.76 (1)0.28 (0.2)↑00.37 (0.7)0.48 (0.7)0.92 (1)32 (58)36 (95)9/15
DIRECT-REV Kudela 2.0 (0)0.51 (0.0)↑03.5 (3)3.4 (2)3.3 (2)3.1 (2)2.9 (2)15/15
E-WOA Espinoza 6.2 (5)8.6 (8)12 (13)13 (14)17 (15)20 (28)23 (23)5/15
I-DBDP-GL Kudela 0.75 (1)0.40 (0.3)↑10.32 (0.2)↑00.46 (0.2)↑00.57 (0.2)↑01.0 (0.3)1.5 (0.4)15/15
WOA Espinoza 6.2 (5)91 (138)85 (108)∞∞∞∞3e40/15
a-CMA-ES Gissler 1.4 (1)4.2 (4)4.8 (4)5.2 (4)5.2 (4)5.2 (4)5.0 (4)15/15
ad-CMA-ES Gissler 1.3 (0.9)7.2 (7)7.0 (4)6.9 (4)7.0 (4)7.1 (4)6.8 (4)15/15
adm-CMA-ES Gissler 1.3 (1)3.9 (3)4.4 (4)4.6 (4)4.6 (4)4.6 (4)4.4 (4)15/15
c-CMA-ES Gissler 1.2 (0.8)4.6 (4)4.6 (4)4.7 (4)4.7 (4)4.7 (4)4.5 (4)15/15
cd-CMA-ES Gissler 1.4 (1)4.8 (4)5.5 (5)5.5 (4)5.5 (4)5.5 (5)5.3 (4)15/15
cdm-CMA-ES Gissler 1.5 (1)4.4 (5)5.4 (4)5.5 (4)5.5 (4)5.5 (4)5.3 (4)15/15
cma-bp-bbob Brockhoff 1.3 (1)4.0 (4)5.0 (4)5.1 (5)5.0 (5)5.0 (5)4.8 (4)14/15
cma-bt-bbob Brockhoff 2.0 (2)6.0 (6)5.7 (6)5.6 (6)5.5 (6)5.5 (7)5.2 (6)13/15
d-CMA-ES Gissler 0.89 (0.4)5.1 (4)6.1 (4)6.2 (4)6.1 (4)6.2 (4)5.9 (4)15/15
default-CMA-ES Gissler 1.5 (1)5.8 (7)4.6 (5)4.6 (5)4.6 (5)4.6 (5)4.5 (5)15/15
dm-CMA-ES Gissler 1.5 (1)4.3 (3)5.0 (4)5.0 (4)5.0 (4)5.0 (4)4.8 (4)15/15
m-SDWOA Espinoza 6.2 (5)4.3 (2)9.2 (10)12 (7)12 (13)12 (9)12 (7)11/15
s-CMA-ES Gissler 2.5 (2)4.5 (6)4.6 (5)4.7 (5)4.6 (5)4.7 (5)4.5 (5)15/15
sc-CMA-ES Gissler 1.7 (2)3.1 (5)5.6 (5)5.7 (5)5.6 (5)5.7 (5)5.4 (5)15/15
scd-CMA-ES Gissler 1.4 (1)3.5 (4)7.0 (8)7.0 (8)7.0 (8)7.1 (8)6.8 (8)15/15
scdm-CMA-ES Gissler 1.2 (0.8)4.3 (4)6.8 (7)6.9 (7)6.9 (7)6.9 (7)6.5 (7)15/15
sd-CMA-ES Gissler 1.8 (2)4.8 (6)4.4 (4)5.1 (4)5.0 (4)5.1 (4)4.9 (4)15/15
sdm-CMA-ES Gissler 1.7 (2)7.0 (7)5.1 (3)5.2 (3)5.1 (3)5.1 (3)4.9 (3)15/15

Δ fopt
f21, 3-D		 1e1
6.0		 1e0
184		 1e-1
425		 1e-2
439		 1e-3
458		 1e-5
469		 1e-7
482		 #succ
14/15
BIRMIN Kudela 1.2 (1)0.75 (0.8)0.57 (0.3)↑00.90 (0.7)1.1 (1)3.0 (4)95 (140)10/15
DIRECT-REV Kudela 3.2 (7)0.88 (0.7)0.66 (0.5)0.71 (0.5)0.74 (0.5)0.77 (0.5)0.83 (0.4)14/15
E-WOA Espinoza 1.4 (1)6.2 (10)10 (12)17 (17)20 (21)28 (34)36 (57)13/15
I-DBDP-GL Kudela 0.82 (0.6)0.82 (0.7)0.50 (0.3)↑10.71 (0.3)0.82 (0.4)1.3 (0.4)2.2 (0.5)15/15
WOA Espinoza 1.4 (1)42 (83)36 (71)37 (54)38 (65)99 (176)255 (267)1/15
a-CMA-ES Gissler 1.3 (0.9)3.8 (5)9.2 (15)10 (15)10 (16)11 (16)11 (16)15/15
ad-CMA-ES Gissler 1.8 (0.9)3.3 (3)4.9 (8)4.9 (9)4.9 (8)5.1 (8)5.1 (8)15/15
adm-CMA-ES Gissler 0.82 (0.7)2.2 (3)11 (26)14 (27)14 (26)15 (28)16 (28)15/15
c-CMA-ES Gissler 0.89 (0.6)3.0 (5)5.3 (9)5.4 (8)5.4 (8)5.6 (9)5.6 (9)15/15
cd-CMA-ES Gissler 1.9 (1)3.8 (6)11 (8)12 (8)12 (8)12 (8)12 (8)15/15
cdm-CMA-ES Gissler 1.2 (2)4.3 (6)14 (23)49 (84)49 (95)74 (101)74 (107)14/15
cma-bp-bbob Brockhoff 1.2 (2)16 (17)19 (45)18 (37)18 (36)18 (36)18 (32)13/15
cma-bt-bbob Brockhoff 1.2 (1)12 (11)12 (12)12 (12)13 (13)13 (13)13 (14)14/15
d-CMA-ES Gissler 1.7 (2)4.2 (6)10 (5)11 (5)56 (5)55 (5)54 (5)14/15
default-CMA-ES Gissler 1.7 (2)2.7 (3)5.8 (7)5.6 (7)6.0 (9)6.6 (9)6.7 (9)15/15
dm-CMA-ES Gissler 3.0 (5)7.0 (10)11 (16)11 (16)11 (17)12 (18)12 (18)15/15
m-SDWOA Espinoza 1.4 (1)1.9 (2)3.1 (2)5.3 (2)7.2 (3)11 (3)13 (3)15/15
s-CMA-ES Gissler 0.91 (1)7.9 (5)27 (10)26 (9)27 (9)29 (9)29 (9)15/15
sc-CMA-ES Gissler 1.1 (1)3.2 (5)4.6 (6)4.7 (5)4.6 (5)4.7 (5)4.8 (5)15/15
scd-CMA-ES Gissler 0.81 (0.8)6.9 (7)12 (22)19 (39)24 (40)25 (42)25 (43)15/15
scdm-CMA-ES Gissler 2.1 (2)5.6 (6)12 (22)12 (21)12 (20)13 (25)13 (25)15/15
sd-CMA-ES Gissler 0.90 (0.9)0.94 (2)3.1 (5)3.2 (5)3.1 (4)3.3 (5)3.4 (4)15/15
sdm-CMA-ES Gissler 1.4 (2)3.8 (6)14 (14)41 (15)66 (15)65 (15)63 (15)14/15

Δ fopt
f22, 3-D		 1e1
18		 1e0
170		 1e-1
354		 1e-2
362		 1e-3
384		 1e-5
401		 1e-7
414		 #succ
15/15
BIRMIN Kudela 1.8 (2)0.80 (0.6)0.97 (1)1.3 (1)1.6 (2)10 (12)84 (181)7/15
DIRECT-REV Kudela 2.3 (3)0.97 (0.8)1.2 (1.0)1.2 (1.0)1.2 (1)1.2 (1.0)19 (41)10/15
E-WOA Espinoza 2.1 (2)12 (12)32 (38)72 (111)89 (100)135 (118)168 (114)4/15
I-DBDP-GL Kudela 0.92 (0.9)0.48 (0.4)↑01.2 (1)1.7 (1)2.0 (1)2.9 (1)4.6 (2)15/15
WOA Espinoza 1.9 (2)17 (11)61 (127)84 (125)169 (199)494 (633)487 (558)2/15
a-CMA-ES Gissler 1.3 (1)1.9 (2)11 (26)41 (96)62 (90)169 (355)164 (343)12/15
ad-CMA-ES Gissler 0.87 (0.9)9.0 (13)21 (45)86 (90)127 (308)124 (284)125 (293)13/15
adm-CMA-ES Gissler 1.1 (1)2.2 (3)28 (32)32 (52)158 (354)201 (362)203 (354)12/15
c-CMA-ES Gissler 1.1 (0.8)3.3 (6)18 (26)28 (43)39 (68)125 (312)122 (305)13/15
cd-CMA-ES Gissler 1.1 (0.9)2.7 (4)34 (83)86 (166)81 (157)159 (292)157 (284)12/15
cdm-CMA-ES Gissler 2.1 (2)3.1 (3)13 (19)30 (50)73 (47)181 (523)175 (338)12/15
cma-bp-bbob Brockhoff 1.5 (1)6.2 (10)16 (18)21 (32)26 (39)26 (38)28 (38)12/15
cma-bt-bbob Brockhoff 1.2 (0.6)5.6 (6)17 (19)39 (60)38 (60)42 (45)41 (43)10/15
d-CMA-ES Gissler 0.92 (0.7)4.0 (6)10 (6)11 (7)49 (7)47 (7)46 (7)14/15
default-CMA-ES Gissler 1.7 (1)5.4 (6)24 (26)68 (93)73 (90)112 (308)110 (328)13/15
dm-CMA-ES Gissler 4.1 (1)2.2 (3)14 (24)20 (23)73 (108)108 (326)105 (316)13/15
m-SDWOA Espinoza 2.0 (2)2.5 (2)4.2 (4)7.9 (5)9.4 (8)12 (6)17 (5)15/15
s-CMA-ES Gissler 1.1 (0.7)2.5 (3)8.3 (10)16 (31)30 (51)114 (316)112 (309)13/15
sc-CMA-ES Gissler 1.2 (0.9)4.6 (7)18 (34)20 (33)42 (58)63 (58)62 (57)14/15
scd-CMA-ES Gissler 0.67 (0.6)2.0 (3)12 (12)13 (11)55 (48)93 (283)90 (273)13/15
scdm-CMA-ES Gissler 1.1 (1)6.5 (11)12 (10)19 (30)71 (54)182 (357)177 (339)12/15
sd-CMA-ES Gissler 1.3 (2)4.8 (6)11 (14)17 (25)61 (27)59 (26)58 (26)14/15
sdm-CMA-ES Gissler 1.5 (2)5.7 (7)33 (56)63 (109)61 (103)258 (391)251 (472)12/15

Δ fopt
f23, 3-D		 1e1
3.0		 1e0
407		 1e-1
906		 1e-2
1215		 1e-3
2214		 1e-5
2293		 1e-7
2393		 #succ
15/15
BIRMIN Kudela 3.9 (5)3.2 (3)104 (153)345 (684)959 (932)∞∞2e50/15
DIRECT-REV Kudela 2.6 (3)1.5 (2)79 (137)97 (112)110 (221)∞∞2e50/15
E-WOA Espinoza 3.2 (2)30 (21)∞∞∞∞∞3e40/15
I-DBDP-GL Kudela 2.5 (2)3.4 (1)4.1 (3)4.7 (2)4.0 (1)7.2 (2)11 (2)15/15
WOA Espinoza 3.2 (2)14 (34)471 (621)∞∞∞∞3e40/15
a-CMA-ES Gissler 3.1 (4)10 (7)6.9 (8)5.4 (6)3.0 (3)3.1 (3)3.1 (3)15/15
ad-CMA-ES Gissler 3.5 (3)2.3 (2)2.8 (3)2.2 (2)1.3 (1)1.3 (1)1.4 (1)15/15
adm-CMA-ES Gissler 2.2 (2)3.8 (3)3.8 (5)3.0 (4)2.1 (3)2.1 (3)2.2 (3)15/15
c-CMA-ES Gissler 2.3 (3)6.0 (5)6.3 (8)5.0 (6)2.8 (3)3.0 (3)3.0 (3)15/15
cd-CMA-ES Gissler 3.1 (4)4.7 (3)6.0 (6)4.7 (5)2.6 (3)2.7 (3)2.7 (2)15/15
cdm-CMA-ES Gissler 3.6 (4)6.9 (5)15 (9)12 (7)6.5 (4)6.7 (4)6.6 (4)15/15
cma-bp-bbob Brockhoff 3.0 (2)3.8 (4)7.9 (9)6.1 (7)3.4 (4)3.4 (4)3.4 (3)15/15
cma-bt-bbob Brockhoff 2.3 (3)5.4 (7)5.7 (6)4.4 (5)2.5 (3)2.6 (2)2.6 (2)15/15
d-CMA-ES Gissler 3.8 (4)5.1 (4)5.1 (6)4.8 (6)2.7 (3)2.8 (3)2.8 (3)15/15
default-CMA-ES Gissler 4.1 (5)6.5 (12)6.3 (6)5.1 (4)2.9 (2)2.9 (2)2.9 (2)15/15
dm-CMA-ES Gissler 3.5 (4)6.8 (6)54 (10)42 (9)23 (5)22 (5)22 (5)14/15
m-SDWOA Espinoza 3.2 (2)7.0 (8)494 (705)∞∞∞∞3e40/15
s-CMA-ES Gissler 2.5 (2)5.3 (5)8.3 (5)6.6 (4)3.7 (2)3.7 (2)3.7 (2)15/15
sc-CMA-ES Gissler 3.9 (4)10 (13)7.8 (10)7.1 (8)6.9 (5)6.9 (5)6.7 (5)15/15
scd-CMA-ES Gissler 4.1 (8)6.6 (7)6.2 (6)4.8 (5)2.7 (3)3.2 (4)3.2 (4)15/15
scdm-CMA-ES Gissler 5.1 (6)8.2 (10)11 (9)10 (7)5.4 (4)5.4 (4)5.3 (4)15/15
sd-CMA-ES Gissler 2.1 (2)6.7 (11)7.3 (9)6.2 (7)3.5 (4)3.5 (4)3.5 (4)15/15
sdm-CMA-ES Gissler 3.4 (4)6.8 (9)8.7 (8)6.6 (7)3.7 (4)3.8 (4)3.8 (4)15/15

Δ fopt
f24, 3-D		 1e1
97		 1e0
10391		 1e-1
1.0e5		 1e-2
3.6e5		 1e-3
3.6e5		 1e-5
3.6e5		 1e-7
3.6e5		 #succ
2/15
BIRMIN Kudela 0.62 (0.3)↑14.1 (4)∞∞∞∞∞2e50/15
DIRECT-REV Kudela 2.9 (2)2.7 (3)3.6 (2)1.4 (2)1.4 (1)1.4 (2)1.4 (2)4/15
E-WOA Espinoza 21 (22)42 (45)∞∞∞∞∞3e40/15
I-DBDP-GL Kudela 2.6 (3)3.6 (6)0.62 (0.5)0.30 (0.3)0.30 (0.3)0.30 (0.3)0.31 (0.2)11/15
WOA Espinoza 4.5 (4)19 (16)4.1 (5)1.2 (0.8)∞∞∞3e40/15
a-CMA-ES Gissler 1.6 (1)67 (87)39 (63)24 (15)24 (35)24 (42)24 (35)1/15
ad-CMA-ES Gissler 1.3 (0.9)38 (58)83 (88)24 (23)24 (31)24 (24)24 (39)1/15
adm-CMA-ES Gissler 1.3 (1)39 (58)38 (38)24 (32)24 (22)24 (27)24 (27)1/15
c-CMA-ES Gissler 2.2 (1)101 (94)∞∞∞∞∞6e50/15
cd-CMA-ES Gissler 2.6 (0.8)14 (29)25 (21)25 (27)25 (25)25 (24)25 (30)1/15
cdm-CMA-ES Gissler 0.90 (1.0)67 (116)16 (21)11 (9)11 (10)11 (11)11 (13)2/15
cma-bp-bbob Brockhoff 5.4 (10)2.6 (3)∞∞∞∞∞3e40/15
cma-bt-bbob Brockhoff 1.6 (1.0)5.1 (8)∞∞∞∞∞3e40/15
d-CMA-ES Gissler 1.6 (0.9)46 (75)25 (28)25 (19)25 (26)25 (26)25 (20)1/15
default-CMA-ES Gissler 4.0 (8)119 (174)24 (31)11 (15)11 (13)11 (14)11 (15)2/15
dm-CMA-ES Gissler 1.5 (1)87 (145)38 (56)∞∞∞∞6e50/15
m-SDWOA Espinoza 4.4 (3)4.5 (5)∞∞∞∞∞3e40/15
s-CMA-ES Gissler 2.3 (2)377 (318)82 (79)24 (18)24 (21)24 (23)24 (26)1/15
sc-CMA-ES Gissler 2.3 (2)67 (58)38 (41)11 (11)11 (10)11 (16)11 (16)2/15
scd-CMA-ES Gissler 1.1 (0.7)52 (59)38 (45)∞∞∞∞6e50/15
scdm-CMA-ES Gissler 1.5 (1)51 (87)∞∞∞∞∞6e50/15
sd-CMA-ES Gissler 2.0 (2)97 (174)86 (75)25 (30)25 (34)25 (24)25 (21)1/15
sdm-CMA-ES Gissler 1.8 (1)160 (246)∞∞∞∞∞6e50/15

Previous dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D		 1e1
11		 1e0
12		 1e-1
12		 1e-2
12		 1e-3
12		 1e-5
12		 1e-7
12		 #succ
15/15
BIRMIN Kudela 1.6 (1)3.4 (0.4)3.9 (1)3.9 (1)4.4 (2)7.2 (0.8)7.6 (1)15/15
DIRECT-REV Kudela 2.2 (1)2.9 (0.4)★3.0 (0.2)★33.0 (0.2)★33.2 (0.3)★26.0 (0.2)★36.4 (0.5)★215/15
E-WOA Espinoza 8.0 (9)84 (34)211 (109)341 (187)475 (226)928 (394)1351 (438)15/15
I-DBDP-GL Kudela 1.3 (1)14 (7)49 (19)91 (24)176 (35)391 (57)695 (122)15/15
WOA Espinoza 7.6 (9)37 (17)508 (346)1492 (2219)9205 (1e4)∞∞5e40/15
a-CMA-ES Gissler 1.9 (1)6.5 (3)13 (2)19 (2)26 (3)38 (5)52 (5)15/15
ad-CMA-ES Gissler 1.5 (1.0)6.4 (3)13 (4)20 (2)27 (5)40 (4)55 (4)15/15
adm-CMA-ES Gissler 1.7 (1.0)8.3 (2)14 (3)21 (5)28 (3)41 (3)55 (3)15/15
c-CMA-ES Gissler 2.3 (2)7.8 (4)14 (3)21 (4)28 (5)40 (6)54 (7)15/15
cd-CMA-ES Gissler 1.5 (1)7.9 (2)15 (5)22 (5)30 (5)44 (7)59 (6)15/15
cdm-CMA-ES Gissler 2.1 (2)8.4 (3)15 (4)22 (3)28 (5)44 (4)59 (5)15/15
cma-bp-bbob Brockhoff 2.0 (2)8.5 (3)14 (3)21 (4)27 (5)39 (5)53 (5)15/15
cma-bt-bbob Brockhoff 1.9 (2)10 (4)16 (5)24 (6)31 (7)42 (7)55 (5)15/15
d-CMA-ES Gissler 1.9 (2)7.4 (3)15 (4)22 (4)28 (4)43 (6)57 (4)15/15
default-CMA-ES Gissler 1.6 (1)6.2 (2)12 (2)19 (4)25 (4)39 (7)50 (8)15/15
dm-CMA-ES Gissler 1.4 (1)7.9 (2)14 (3)22 (2)28 (3)43 (5)57 (6)15/15
m-SDWOA Espinoza 12 (12)67 (26)162 (26)247 (36)350 (39)559 (34)762 (39)15/15
s-CMA-ES Gissler 1.7 (1)7.2 (3)14 (4)20 (5)27 (5)40 (8)52 (8)15/15
sc-CMA-ES Gissler 2.2 (1)7.0 (3)15 (5)22 (4)28 (5)40 (6)54 (6)15/15
scd-CMA-ES Gissler 1.8 (1)6.7 (3)16 (5)24 (6)29 (6)43 (5)57 (5)15/15
scdm-CMA-ES Gissler 2.2 (2)8.4 (4)15 (4)21 (6)29 (5)42 (4)57 (7)15/15
sd-CMA-ES Gissler 2.1 (2)7.7 (3)14 (4)21 (3)27 (4)40 (6)55 (5)15/15
sdm-CMA-ES Gissler 2.0 (2)7.5 (3)14 (4)20 (4)27 (6)41 (6)54 (8)15/15

Δ fopt
f2, 5-D		 1e1
83		 1e0
87		 1e-1
88		 1e-2
89		 1e-3
90		 1e-5
92		 1e-7
94		 #succ
15/15
BIRMIN Kudela 1.5 (0.8)1.7 (0.8)2.4 (0.8)2.6 (0.8)2.8 (0.9)3.2 (1.0)3.5 (1)15/15
DIRECT-REV Kudela 1.1 (0.4)1.4 (0.5)2.0 (0.8)2.3 (0.5)2.5 (0.6)3.0 (0.8)3.3 (0.7)14/15
E-WOA Espinoza 171 (104)263 (294)295 (313)332 (294)367 (279)436 (309)580 (448)10/15
I-DBDP-GL Kudela 45 (13)59 (11)80 (25)106 (22)130 (19)220 (49)294 (47)15/15
WOA Espinoza 8556 (1e4)∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 7.1 (2)9.0 (2)10 (2)11 (1)11 (2)13 (1)14 (1)15/15
ad-CMA-ES Gissler 7.5 (3)9.3 (2)10 (2)11 (2)12 (1)14 (2)15 (2)15/15
adm-CMA-ES Gissler 7.8 (3)10 (3)11 (3)11 (3)12 (2)14 (2)15 (2)15/15
c-CMA-ES Gissler 7.8 (3)10 (2)11 (1)12 (1)13 (1)14 (1)16 (1)15/15
cd-CMA-ES Gissler 8.9 (3)10 (3)11 (2)12 (2)13 (2)15 (1)16 (2)15/15
cdm-CMA-ES Gissler 8.3 (3)10 (3)11 (3)12 (2)13 (2)15 (3)16 (2)15/15
cma-bp-bbob Brockhoff 7.3 (3)9.4 (3)11 (2)12 (1)13 (2)14 (2)15 (2)15/15
cma-bt-bbob Brockhoff 7.3 (2)9.0 (1)10 (2)11 (2)12 (2)13 (2)14 (2)15/15
d-CMA-ES Gissler 8.0 (2)10 (2)11 (2)12 (1)13 (1)14 (1)16 (1)15/15
default-CMA-ES Gissler 7.8 (2)8.8 (2)10 (2)11 (2)12 (1)13 (2)15 (2)15/15
dm-CMA-ES Gissler 7.1 (2)8.8 (2)10 (2)11 (2)12 (2)14 (2)15 (2)15/15
m-SDWOA Espinoza 42 (6)55 (6)68 (7)82 (5)96 (4)119 (5)142 (5)15/15
s-CMA-ES Gissler 8.5 (3)10 (2)11 (2)12 (1)12 (1)14 (2)15 (1)15/15
sc-CMA-ES Gissler 9.4 (4)11 (3)13 (3)14 (3)15 (3)16 (2)17 (2)15/15
scd-CMA-ES Gissler 8.2 (4)11 (5)13 (5)14 (5)14 (5)16 (4)17 (4)15/15
scdm-CMA-ES Gissler 9.4 (3)11 (2)12 (1)13 (1)14 (1)15 (1)17 (1)15/15
sd-CMA-ES Gissler 8.3 (3)10 (3)11 (2)12 (2)13 (2)14 (2)15 (2)15/15
sdm-CMA-ES Gissler 7.2 (3)9.4 (3)11 (1)11 (2)12 (2)14 (2)15 (2)15/15

Δ fopt
f3, 5-D		 1e1
716		 1e0
1622		 1e-1
1637		 1e-2
1642		 1e-3
1646		 1e-5
1650		 1e-7
1654		 #succ
15/15
BIRMIN Kudela 1.3 (2)68 (74)138 (231)138 (112)150 (111)205 (179)205 (242)8/15
DIRECT-REV Kudela 2.2 (1)64 (84)233 (363)232 (320)232 (155)231 (357)230 (265)7/15
E-WOA Espinoza 35 (55)∞∞∞∞∞∞5e40/15
I-DBDP-GL Kudela 2.4 (1)8.2 (5)51 (77)51 (76)52 (83)55 (81)59 (79)13/15
WOA Espinoza 202 (321)∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 0.97 (1)45 (124)1899 (3532)1893 (1255)1889 (1955)1884 (1732)1880 (1321)3/15
ad-CMA-ES Gissler 1.1 (1)63 (87)1246 (1426)1243 (1744)1240 (916)1238 (1460)1235 (1356)4/15
adm-CMA-ES Gissler 1.3 (1)44 (63)1363 (1369)1360 (1365)1357 (1543)1354 (1306)1351 (1975)4/15
c-CMA-ES Gissler 0.77 (0.3)34 (33)1337 (1285)1334 (1131)1332 (1751)1329 (1416)1327 (1166)4/15
cd-CMA-ES Gissler 1.4 (2)26 (39)383 (619)383 (414)382 (515)382 (625)381 (421)8/15
cdm-CMA-ES Gissler 1.3 (2)10 (11)732 (1000)730 (905)729 (865)728 (990)726 (743)6/15
cma-bp-bbob Brockhoff 0.99 (1)14 (21)96 (126)96 (105)96 (105)96 (126)129 (152)3/15
cma-bt-bbob Brockhoff 1.1 (1)15 (17)71 (79)71 (94)71 (56)72 (93)72 (97)5/15
d-CMA-ES Gissler 1.4 (2)47 (43)1154 (1580)1669 (2479)1665 (1575)1661 (2120)1658 (1274)3/15
default-CMA-ES Gissler 1.2 (1)5.5 (5)521 (1243)520 (571)520 (450)519 (663)518 (451)7/15
dm-CMA-ES Gissler 1.4 (2)9.2 (11)257 (375)257 (377)256 (293)256 (485)256 (473)10/15
m-SDWOA Espinoza 5.7 (3)21 (6)34 (19)42 (19)54 (49)109 (92)147 (136)3/15
s-CMA-ES Gissler 1.5 (2)13 (9)318 (349)317 (681)317 (560)317 (453)317 (452)9/15
sc-CMA-ES Gissler 1.0 (1)8.0 (5)2055 (2761)2049 (2615)2044 (2248)2039 (2525)2035 (2005)3/15
scd-CMA-ES Gissler 2.1 (2)24 (39)1218 (1829)1215 (1143)1212 (1587)1210 (947)1207 (1194)4/15
scdm-CMA-ES Gissler 1.7 (1)51 (69)1978 (2516)1974 (2331)1970 (1775)1966 (1911)1962 (3771)3/15
sd-CMA-ES Gissler 1.3 (1)15 (12)528 (788)528 (762)527 (632)526 (756)526 (773)7/15
sdm-CMA-ES Gissler 1.2 (2)5.5 (5)754 (838)980 (987)978 (960)976 (1086)974 (1577)5/15

Δ fopt
f4, 5-D		 1e1
809		 1e0
1633		 1e-1
1688		 1e-2
1758		 1e-3
1817		 1e-5
1886		 1e-7
1903		 #succ
15/15
BIRMIN Kudela 3.8 (6)137 (188)2212 (1851)2123 (1813)2055 (2477)1979 (2684)1962 (2003)1/15
DIRECT-REV Kudela 4.7 (11)82 (97)463 (530)444 (567)430 (456)414 (738)410 (646)4/15
E-WOA Espinoza 75 (75)447 (513)∞∞∞∞∞5e40/15
I-DBDP-GL Kudela 2.9 (2)20 (20)179 (300)173 (198)169 (274)167 (114)170 (131)8/15
WOA Espinoza 258 (278)∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 2.2 (3)∞∞∞∞∞∞8e50/15
ad-CMA-ES Gissler 1.7 (3)∞∞∞∞∞∞6e50/15
adm-CMA-ES Gissler 1.5 (1)7714 (7149)∞∞∞∞∞9e50/15
c-CMA-ES Gissler 1.5 (2)∞∞∞∞∞∞8e50/15
cd-CMA-ES Gissler 1.0 (1)∞∞∞∞∞∞6e50/15
cdm-CMA-ES Gissler 1.5 (1)∞∞∞∞∞∞7e50/15
cma-bp-bbob Brockhoff 1.9 (1)∞∞∞∞∞∞5e40/15
cma-bt-bbob Brockhoff 1.8 (3)∞∞∞∞∞∞5e40/15
d-CMA-ES Gissler 1.8 (1)∞∞∞∞∞∞6e50/15
default-CMA-ES Gissler 2.9 (3)∞∞∞∞∞∞8e50/15
dm-CMA-ES Gissler 1.4 (2)∞∞∞∞∞∞7e50/15
m-SDWOA Espinoza 8.4 (5)63 (47)220 (229)425 (413)412 (482)∞∞5e40/15
s-CMA-ES Gissler 2.0 (2)∞∞∞∞∞∞8e50/15
sc-CMA-ES Gissler 2.3 (3)∞∞∞∞∞∞8e50/15
scd-CMA-ES Gissler 2.1 (3)∞∞∞∞∞∞7e50/15
scdm-CMA-ES Gissler 1.8 (2)6627 (9020)∞∞∞∞∞7e50/15
sd-CMA-ES Gissler 2.0 (2)∞∞∞∞∞∞7e50/15
sdm-CMA-ES Gissler 1.5 (2)∞∞∞∞∞∞8e50/15

Δ fopt
f5, 5-D		 1e1
10		 1e0
10		 1e-1
10		 1e-2
10		 1e-3
10		 1e-5
10		 1e-7
10		 #succ
15/15
BIRMIN Kudela 7.2 (2)13 (2)16 (1)18 (1)18 (1)19 (1)1.6e5 (3e5)0/15
DIRECT-REV Kudela 9.2 (0)13 (0)16 (0)18 (0)18 (0)19 (0)∞3e50/15
E-WOA Espinoza 33 (16)61 (36)62 (36)64 (33)64 (33)64 (33)64 (33)15/15
I-DBDP-GL Kudela 31 (8)151 (12)367 (4)709 (49)1145 (29)2357 (90)3963 (11)15/15
WOA Espinoza 20 (9)388 (15)390 (15)391 (15)391 (15)391 (15)391 (15)14/15
a-CMA-ES Gissler 4.9 (2)6.7 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)15/15
ad-CMA-ES Gissler 4.6 (2)6.4 (3)6.8 (3)6.8 (3)6.8 (3)6.8 (3)6.8 (3)15/15
adm-CMA-ES Gissler 4.8 (2)6.9 (3)7.1 (3)7.1 (3)7.1 (3)7.1 (3)7.1 (3)15/15
c-CMA-ES Gissler 4.5 (1)6.3 (2)6.6 (2)6.6 (2)6.6 (2)6.6 (2)6.6 (2)15/15
cd-CMA-ES Gissler 4.9 (2)6.6 (3)6.8 (2)6.8 (2)6.8 (2)6.8 (2)6.8 (2)15/15
cdm-CMA-ES Gissler 4.6 (2)6.7 (4)6.8 (4)6.9 (3)6.9 (3)6.9 (3)6.9 (3)15/15
cma-bp-bbob Brockhoff 7.4 (4)24 (19)29 (21)30 (19)30 (19)30 (19)30 (19)15/15
cma-bt-bbob Brockhoff 12 (7)23 (9)32 (10)40 (10)47 (8)63 (10)78 (10)15/15
d-CMA-ES Gissler 4.9 (2)6.6 (2)6.8 (2)6.8 (3)6.8 (3)6.8 (3)6.8 (3)15/15
default-CMA-ES Gissler 4.5 (1)6.1 (2)6.2 (2)6.3 (2)6.3 (2)6.3 (2)6.3 (2)15/15
dm-CMA-ES Gissler 5.6 (3)7.0 (2)7.2 (2)7.2 (2)7.2 (2)7.2 (2)7.2 (2)15/15
m-SDWOA Espinoza 75 (53)213 (128)341 (173)468 (242)529 (327)677 (493)761 (688)15/15
s-CMA-ES Gissler 4.9 (2)7.0 (3)7.1 (3)7.1 (3)7.1 (3)7.1 (3)7.1 (3)15/15
sc-CMA-ES Gissler 4.8 (2)7.1 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)15/15
scd-CMA-ES Gissler 4.3 (2)6.5 (3)6.6 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)15/15
scdm-CMA-ES Gissler 5.1 (3)6.9 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)15/15
sd-CMA-ES Gissler 5.0 (2)6.8 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)15/15
sdm-CMA-ES Gissler 5.2 (3)7.1 (4)7.4 (4)7.5 (4)7.5 (4)7.5 (4)7.5 (4)15/15

Δ fopt
f6, 5-D		 1e1
114		 1e0
214		 1e-1
281		 1e-2
404		 1e-3
580		 1e-5
1038		 1e-7
1332		 #succ
15/15
BIRMIN Kudela 1.4 (0.6)1.2 (0.6)1.2 (0.4)1.1 (0.4)0.89 (0.3)0.71 (0.2)↑00.71 (0.2)↑013/15
DIRECT-REV Kudela 1.1 (0.7)1.0 (0.3)1.1 (0.3)0.98 (0.3)0.85 (0.3)0.66 (0.1)↑00.72 (0.2)↑014/15
E-WOA Espinoza 25 (20)117 (105)323 (343)906 (1454)∞∞∞5e40/15
I-DBDP-GL Kudela 3.6 (2)5.9 (2)10 (4)13 (4)16 (3)17 (3)22 (4)15/15
WOA Espinoza 87 (223)485 (411)2582 (2358)∞∞∞∞5e40/15
a-CMA-ES Gissler 1.7 (0.5)1.5 (0.3)1.7 (0.2)1.6 (0.2)1.4 (0.2)1.1 (0.1)1.1 (0.1)15/15
ad-CMA-ES Gissler 1.4 (0.7)1.6 (0.4)1.8 (0.3)1.6 (0.2)1.4 (0.2)1.1 (0.1)1.1 (0.1)15/15
adm-CMA-ES Gissler 1.6 (0.9)1.6 (0.5)1.7 (0.4)1.5 (0.3)1.3 (0.2)1.1 (0.2)1.1 (0.2)15/15
c-CMA-ES Gissler 1.6 (0.6)1.6 (0.5)1.9 (0.3)1.8 (0.3)1.5 (0.2)1.2 (0.1)1.2 (0.1)15/15
cd-CMA-ES Gissler 1.8 (0.6)1.7 (0.4)1.9 (0.5)1.7 (0.4)1.5 (0.3)1.2 (0.2)1.2 (0.1)15/15
cdm-CMA-ES Gissler 1.8 (0.6)1.8 (0.4)1.9 (0.6)1.7 (0.4)1.5 (0.3)1.2 (0.2)1.2 (0.2)15/15
cma-bp-bbob Brockhoff 1.5 (0.7)1.7 (0.5)1.9 (0.3)1.7 (0.2)1.5 (0.2)1.2 (0.1)1.2 (0.1)15/15
cma-bt-bbob Brockhoff 1.8 (0.7)1.8 (0.5)2.0 (0.4)1.8 (0.3)1.6 (0.3)1.2 (0.2)1.2 (0.1)15/15
d-CMA-ES Gissler 1.9 (0.7)1.8 (0.5)1.9 (0.5)1.8 (0.3)1.5 (0.2)1.2 (0.2)1.2 (0.1)15/15
default-CMA-ES Gissler 1.9 (0.8)1.8 (0.4)1.9 (0.3)1.8 (0.3)1.5 (0.2)1.2 (0.1)1.2 (0.1)15/15
dm-CMA-ES Gissler 1.8 (1)1.7 (0.6)1.9 (0.4)1.7 (0.2)1.6 (0.2)1.2 (0.1)1.2 (0.1)15/15
m-SDWOA Espinoza 12 (6)21 (5)25 (4)25 (3)23 (3)18 (3)19 (3)15/15
s-CMA-ES Gissler 1.8 (0.9)1.6 (0.3)1.8 (0.5)1.6 (0.3)1.4 (0.2)1.1 (0.1)1.1 (0.1)15/15
sc-CMA-ES Gissler 2.0 (0.9)1.9 (0.7)2.1 (0.6)1.9 (0.5)1.7 (0.3)1.3 (0.2)1.2 (0.2)15/15
scd-CMA-ES Gissler 1.7 (1)1.7 (0.9)1.9 (0.6)1.8 (0.5)1.5 (0.4)1.2 (0.3)1.2 (0.2)15/15
scdm-CMA-ES Gissler 1.4 (0.5)1.5 (0.4)1.7 (0.3)1.5 (0.2)1.4 (0.2)1.1 (0.2)1.1 (0.2)15/15
sd-CMA-ES Gissler 1.7 (0.3)1.7 (0.5)1.8 (0.3)1.7 (0.5)1.5 (0.2)1.2 (0.2)1.2 (0.1)15/15
sdm-CMA-ES Gissler 1.6 (0.5)1.7 (0.5)1.7 (0.4)1.7 (0.3)1.4 (0.2)1.1 (0.1)1.1 (0.1)15/15

Δ fopt
f7, 5-D		 1e1
24		 1e0
324		 1e-1
1171		 1e-2
1451		 1e-3
1572		 1e-5
1572		 1e-7
1597		 #succ
15/15
BIRMIN Kudela 4.0 (2)2.6 (2)3.8 (3)7.0 (6)10 (7)10 (7)13 (12)15/15
DIRECT-REV Kudela 4.2 (3)1.9 (1)2.9 (3)17 (35)20 (32)20 (32)27 (38)15/15
E-WOA Espinoza 31 (23)103 (81)139 (170)∞∞∞∞5e40/15
I-DBDP-GL Kudela 4.7 (2)2.9 (1)1.9 (1)2.8 (1.0)3.3 (2)3.3 (2)3.6 (2)15/15
WOA Espinoza 181 (93)619 (772)∞∞∞∞∞5e40/15
a-CMA-ES Gissler 2.4 (2)0.81 (0.3)0.54 (0.3)↑10.55 (0.3)↑10.55 (0.3)↑10.55 (0.3)↑10.57 (0.3)↑115/15
ad-CMA-ES Gissler 3.2 (2)0.88 (0.8)0.46 (0.4)↑00.52 (0.3)↑00.50 (0.3)↑00.50 (0.3)↑00.55 (0.3)↑015/15
adm-CMA-ES Gissler 2.9 (2)1.2 (1.0)0.43 (0.3)↑00.47 (0.3)↑00.47 (0.3)↑00.47 (0.3)↑00.48 (0.3)↑015/15
c-CMA-ES Gissler 2.2 (2)0.82 (0.9)0.59 (0.4)↑10.58 (0.3)↑10.59 (0.3)↑10.59 (0.3)↑10.65 (0.4)15/15
cd-CMA-ES Gissler 3.2 (2)1.1 (2)0.82 (0.8)0.81 (0.7)0.77 (0.7)0.77 (0.7)0.80 (0.7)15/15
cdm-CMA-ES Gissler 3.6 (2)0.84 (0.4)0.58 (0.4)↑10.55 (0.3)↑10.59 (0.3)↑10.59 (0.3)↑10.62 (0.3)↑115/15
cma-bp-bbob Brockhoff 3.3 (2)1.2 (1)0.70 (0.4)0.74 (0.3)0.76 (0.5)0.76 (0.5)0.85 (0.6)15/15
cma-bt-bbob Brockhoff 3.9 (2)1.0 (1)0.91 (0.8)0.83 (0.7)0.90 (0.7)0.90 (0.7)0.97 (0.7)15/15
d-CMA-ES Gissler 4.0 (2)1.0 (1)0.58 (0.4)0.55 (0.3)↑00.54 (0.3)↑00.54 (0.3)↑00.56 (0.3)↑015/15
default-CMA-ES Gissler 2.7 (2)1.1 (1.0)0.78 (0.7)0.71 (0.5)0.72 (0.6)0.72 (0.6)0.75 (0.5)15/15
dm-CMA-ES Gissler 3.0 (2)0.84 (0.9)0.56 (0.3)↑00.55 (0.3)↑00.57 (0.3)↑00.57 (0.3)↑00.59 (0.3)↑015/15
m-SDWOA Espinoza 13 (7)4.7 (2)2.8 (0.4)3.6 (0.4)3.6 (0.5)3.6 (0.5)4.0 (0.4)15/15
s-CMA-ES Gissler 2.2 (1)1.2 (1)0.71 (0.7)0.72 (0.6)0.71 (0.5)0.71 (0.5)0.73 (0.5)15/15
sc-CMA-ES Gissler 2.6 (2)1.1 (0.9)0.67 (0.5)0.65 (0.5)0.63 (0.4)0.63 (0.4)0.65 (0.4)15/15
scd-CMA-ES Gissler 3.1 (2)0.85 (0.8)0.65 (0.6)0.69 (0.5)0.71 (0.5)0.71 (0.5)0.81 (0.5)15/15
scdm-CMA-ES Gissler 3.6 (1)0.72 (0.3)↑10.53 (0.4)↑00.51 (0.3)↑00.52 (0.3)↑00.52 (0.3)↑00.54 (0.3)↑015/15
sd-CMA-ES Gissler 3.1 (2)0.95 (0.8)0.58 (0.6)0.63 (0.5)0.60 (0.5)0.60 (0.5)0.66 (0.5)15/15
sdm-CMA-ES Gissler 3.7 (2)0.98 (0.9)0.51 (0.4)↑10.57 (0.3)↑00.57 (0.3)↑00.57 (0.3)↑00.58 (0.3)↑015/15

Δ fopt
f8, 5-D		 1e1
73		 1e0
273		 1e-1
336		 1e-2
372		 1e-3
391		 1e-5
410		 1e-7
422		 #succ
15/15
BIRMIN Kudela 1.1 (0.6)1.2 (1)1.1 (1)1.1 (1.0)1.1 (1.0)1.0 (0.9)1.0 (0.9)15/15
DIRECT-REV Kudela 0.78 (0.4)0.82 (0.3)0.83 (0.2)0.82 (0.2)↑10.82 (0.2)↑10.82 (0.2)↑10.82 (0.2)↑115/15
E-WOA Espinoza 48 (55)95 (117)94 (92)96 (90)98 (72)111 (68)115 (87)11/15
I-DBDP-GL Kudela 11 (3)10 (4)21 (6)32 (9)41 (14)61 (17)95 (23)15/15
WOA Espinoza 76 (35)517 (557)∞∞∞∞∞5e40/15
a-CMA-ES Gissler 2.4 (0.4)3.5 (4)4.0 (3)4.1 (3)4.2 (3)4.4 (3)4.7 (3)15/15
ad-CMA-ES Gissler 2.8 (0.7)4.6 (4)4.9 (3)4.9 (3)5.0 (3)5.2 (3)5.5 (3)15/15
adm-CMA-ES Gissler 2.5 (0.7)3.6 (5)4.0 (4)4.1 (4)4.2 (3)4.4 (3)4.7 (3)15/15
c-CMA-ES Gissler 2.4 (1.0)4.2 (1)4.7 (1)5.0 (1)5.1 (0.9)5.4 (0.9)5.5 (0.9)15/15
cd-CMA-ES Gissler 2.8 (0.8)4.7 (5)5.2 (4)5.4 (4)5.6 (4)5.8 (4)6.1 (4)15/15
cdm-CMA-ES Gissler 2.4 (0.5)2.8 (0.9)3.8 (0.9)4.1 (0.8)4.2 (0.7)4.5 (0.8)4.8 (0.7)15/15
cma-bp-bbob Brockhoff 2.4 (0.8)3.5 (1)3.9 (1)4.1 (1)4.2 (1)4.5 (1)4.7 (1.0)15/15
cma-bt-bbob Brockhoff 3.0 (1)4.2 (4)4.5 (3)4.6 (3)4.8 (3)5.0 (3)5.2 (3)15/15
d-CMA-ES Gissler 2.8 (0.8)5.3 (11)5.6 (9)5.6 (9)5.7 (8)5.9 (8)6.2 (8)15/15
default-CMA-ES Gissler 2.3 (0.7)3.3 (1)4.0 (1)4.1 (1)4.2 (1)4.4 (1)4.7 (0.9)15/15
dm-CMA-ES Gissler 2.7 (0.8)3.9 (4)4.4 (3)4.5 (3)4.6 (3)4.8 (3)5.1 (3)15/15
m-SDWOA Espinoza 28 (7)47 (47)336 (313)568 (471)551 (833)839 (1516)822 (736)2/15
s-CMA-ES Gissler 2.5 (1)3.8 (4)4.2 (4)4.2 (4)4.3 (3)4.6 (3)4.8 (3)15/15
sc-CMA-ES Gissler 2.5 (1)3.3 (1)4.2 (0.9)4.4 (1.0)4.6 (0.9)4.8 (0.9)5.1 (0.9)15/15
scd-CMA-ES Gissler 2.5 (0.9)3.0 (2)3.9 (2)4.2 (2)4.3 (2)4.6 (2)4.8 (1)15/15
scdm-CMA-ES Gissler 2.7 (0.7)3.5 (1)4.4 (1)4.7 (1)4.8 (1)5.0 (1)5.3 (1)15/15
sd-CMA-ES Gissler 2.3 (0.5)3.2 (1)3.8 (1.0)3.9 (0.9)4.0 (0.9)4.2 (0.9)4.5 (0.9)15/15
sdm-CMA-ES Gissler 2.6 (1)4.4 (5)4.7 (4)4.8 (4)4.8 (4)5.0 (3)5.3 (4)15/15

Δ fopt
f9, 5-D		 1e1
35		 1e0
127		 1e-1
214		 1e-2
263		 1e-3
300		 1e-5
335		 1e-7
369		 #succ
15/15
BIRMIN Kudela 2.7 (0.9)7.4 (1.0)10 (0.5)11 (0.5)26 (0.4)54 (0.4)49 (0.3)14/15
DIRECT-REV Kudela 2.8 (0.8)1.3 (0.3)1.0 (0.2)0.94 (0.2)↑10.86 (0.1)↑10.82 (0.1)↑10.77 (0.1)↑115/15
E-WOA Espinoza 52 (22)73 (91)1654 (1536)∞∞∞∞5e40/15
I-DBDP-GL Kudela 27 (7)37 (11)49 (13)57 (16)72 (41)114 (44)143 (70)15/15
WOA Espinoza 54 (54)1098 (1086)3304 (5257)∞∞∞∞5e40/15
a-CMA-ES Gissler 4.2 (2)6.5 (4)5.5 (2)5.1 (2)4.8 (2)4.9 (2)4.8 (2)15/15
ad-CMA-ES Gissler 4.7 (1)7.5 (9)6.2 (6)5.7 (5)5.4 (4)5.4 (4)5.4 (4)15/15
adm-CMA-ES Gissler 4.6 (2)5.2 (3)4.7 (2)4.5 (1)4.3 (1)4.3 (1)4.4 (1.0)15/15
c-CMA-ES Gissler 5.2 (2)6.8 (4)6.3 (2)6.1 (2)5.8 (2)5.7 (1)5.7 (1)15/15
cd-CMA-ES Gissler 5.0 (1.0)8.5 (10)7.3 (7)6.9 (6)6.6 (5)6.5 (5)6.4 (4)15/15
cdm-CMA-ES Gissler 5.2 (2)7.5 (3)6.7 (2)6.5 (2)6.2 (2)6.1 (2)6.1 (1)15/15
cma-bp-bbob Brockhoff 3.9 (2)6.4 (2)5.7 (1)5.2 (1)4.9 (0.9)5.0 (0.7)4.9 (0.6)15/15
cma-bt-bbob Brockhoff 4.6 (2)5.0 (1)4.7 (0.7)4.6 (0.6)4.4 (0.6)4.5 (0.6)4.5 (0.5)15/15
d-CMA-ES Gissler 5.2 (1)6.9 (3)5.9 (2)5.6 (2)5.3 (1)5.3 (1)5.2 (1)15/15
default-CMA-ES Gissler 4.2 (0.8)7.8 (8)6.5 (5)6.0 (4)5.6 (4)5.6 (3)5.5 (3)15/15
dm-CMA-ES Gissler 4.4 (1)6.1 (4)5.5 (2)5.3 (2)5.0 (1)5.1 (1)5.1 (1)15/15
m-SDWOA Espinoza 41 (8)28 (7)48 (5)68 (98)86 (87)103 (78)102 (72)11/15
s-CMA-ES Gissler 4.6 (2)7.9 (3)6.5 (2)6.0 (2)5.7 (2)5.6 (1)5.5 (1)15/15
sc-CMA-ES Gissler 4.2 (2)6.7 (3)6.5 (2)6.3 (2)6.0 (2)6.0 (2)5.9 (2)15/15
scd-CMA-ES Gissler 4.5 (2)7.5 (3)6.8 (1)6.5 (1)6.1 (1)6.1 (1)6.0 (0.9)15/15
scdm-CMA-ES Gissler 4.7 (2)6.9 (5)6.1 (4)6.0 (3)5.7 (3)5.7 (2)5.6 (2)15/15
sd-CMA-ES Gissler 4.7 (1)8.1 (8)6.8 (5)6.3 (4)5.9 (4)5.8 (3)5.6 (3)15/15
sdm-CMA-ES Gissler 4.3 (2)9.3 (10)7.3 (6)6.8 (5)6.3 (4)6.2 (4)6.1 (4)15/15

Δ fopt
f10, 5-D		 1e1
349		 1e0
500		 1e-1
574		 1e-2
607		 1e-3
626		 1e-5
829		 1e-7
880		 #succ
15/15
BIRMIN Kudela 0.33 (0.1)↑00.34 (0.1)↑00.34 (0.1)↑00.35 (0.1)↑00.40 (0.1)↑0151 (302)3978 (2628)0/15
DIRECT-REV Kudela 0.36 (0.2)↑00.37 (0.1)↑00.38 (0.2)↑00.40 (0.2)↑00.42 (0.2)↑0110 (151)1137 (1278)1/15
E-WOA Espinoza 629 (664)1441 (1425)1262 (1394)1195 (1359)1167 (1538)894 (1252)847 (980)1/15
I-DBDP-GL Kudela 86 (74)131 (80)300 (218)833 (840)1384 (1597)∞∞3e50/15
WOA Espinoza ∞∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 1.8 (0.4)1.5 (0.3)1.5 (0.2)1.6 (0.2)1.7 (0.2)1.4 (0.1)1.5 (0.1)15/15
ad-CMA-ES Gissler 1.9 (0.4)1.5 (0.3)1.5 (0.3)1.6 (0.2)1.7 (0.2)1.5 (0.1)1.6 (0.1)15/15
adm-CMA-ES Gissler 1.8 (0.6)1.5 (0.5)1.5 (0.4)1.6 (0.3)1.7 (0.2)1.5 (0.2)1.6 (0.2)15/15
c-CMA-ES Gissler 2.0 (0.7)1.8 (0.4)1.8 (0.3)1.8 (0.3)1.9 (0.3)1.6 (0.2)1.7 (0.2)15/15
cd-CMA-ES Gissler 1.9 (0.6)1.7 (0.4)1.7 (0.3)1.8 (0.2)1.9 (0.2)1.6 (0.2)1.7 (0.2)15/15
cdm-CMA-ES Gissler 2.1 (0.6)1.8 (0.4)1.8 (0.3)1.8 (0.3)1.9 (0.3)1.7 (0.2)1.8 (0.2)15/15
cma-bp-bbob Brockhoff 1.7 (0.5)1.7 (0.4)1.7 (0.2)1.7 (0.2)1.8 (0.2)1.5 (0.2)1.6 (0.2)15/15
cma-bt-bbob Brockhoff 3.1 (2)3.1 (3)2.8 (2)2.8 (2)2.9 (2)2.3 (2)2.4 (1)15/15
d-CMA-ES Gissler 1.8 (0.5)1.6 (0.4)1.6 (0.3)1.7 (0.3)1.7 (0.2)1.5 (0.2)1.6 (0.2)15/15
default-CMA-ES Gissler 1.9 (0.6)1.6 (0.4)1.6 (0.4)1.7 (0.3)1.7 (0.3)1.5 (0.2)1.6 (0.2)15/15
dm-CMA-ES Gissler 1.9 (0.5)1.6 (0.3)1.6 (0.2)1.6 (0.1)1.7 (0.1)1.5 (0.1)1.6 (0.1)15/15
m-SDWOA Espinoza 13 (2)12 (2)13 (1)15 (2)17 (2)16 (0.9)19 (1.0)15/15
s-CMA-ES Gissler 1.9 (0.7)1.6 (0.4)1.6 (0.3)1.7 (0.3)1.7 (0.3)1.5 (0.1)1.6 (0.2)15/15
sc-CMA-ES Gissler 1.9 (0.5)2.0 (0.5)2.0 (0.5)2.0 (0.5)2.1 (0.4)1.7 (0.3)1.8 (0.3)15/15
scd-CMA-ES Gissler 2.3 (0.6)2.1 (0.4)1.9 (0.4)2.0 (0.3)2.0 (0.2)1.8 (0.2)1.8 (0.2)15/15
scdm-CMA-ES Gissler 2.1 (1.0)1.8 (0.5)1.8 (0.3)1.9 (0.3)2.0 (0.3)1.7 (0.2)1.8 (0.2)15/15
sd-CMA-ES Gissler 1.6 (0.5)1.6 (0.4)1.6 (0.3)1.7 (0.2)1.8 (0.2)1.5 (0.2)1.6 (0.2)15/15
sdm-CMA-ES Gissler 1.9 (0.8)1.6 (0.6)1.6 (0.4)1.7 (0.3)1.8 (0.3)1.5 (0.2)1.7 (0.3)15/15

Δ fopt
f11, 5-D		 1e1
143		 1e0
202		 1e-1
763		 1e-2
977		 1e-3
1177		 1e-5
1467		 1e-7
1673		 #succ
15/15
BIRMIN Kudela 0.58 (0.2)↑00.52 (0.2)↑00.21 (0.1)↑00.21 (0.1)↑054 (106)469 (554)∞3e50/15
DIRECT-REV Kudela 0.51 (0.2)↑00.56 (0.2)↑00.20 (0.1)↑00.21 (0.0)↑00.31 (0.3)↑0682 (639)∞3e50/15
E-WOA Espinoza 118 (143)780 (798)∞∞∞∞∞5e40/15
I-DBDP-GL Kudela 61 (51)129 (67)62 (29)88 (34)106 (33)161 (88)417 (422)3/15
WOA Espinoza 1449 (2377)∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 3.9 (0.8)3.3 (0.5)1.0 (0.1)0.87 (0.1)↑10.79 (0.1)↑00.75 (0.1)↑00.75 (0.1)↑015/15
ad-CMA-ES Gissler 3.6 (0.9)3.2 (0.5)0.97 (0.1)0.84 (0.1)↑10.77 (0.1)↑00.72 (0.1)↑00.74 (0.1)↑015/15
adm-CMA-ES Gissler 3.4 (0.9)3.0 (0.6)0.94 (0.1)0.82 (0.1)↑10.74 (0.1)↑00.70 (0.1)↑00.72 (0.1)↑015/15
c-CMA-ES Gissler 3.7 (1.0)3.2 (0.8)0.97 (0.2)0.87 (0.1)↑10.79 (0.1)↑00.74 (0.1)↑00.73 (0.1)↑015/15
cd-CMA-ES Gissler 3.8 (0.9)3.4 (0.8)1.0 (0.2)0.90 (0.2)0.83 (0.1)↑00.77 (0.1)↑00.78 (0.1)↑015/15
cdm-CMA-ES Gissler 4.0 (1)3.5 (0.6)1.0 (0.2)0.89 (0.1)0.82 (0.1)↑10.77 (0.1)↑00.78 (0.1)↑015/15
cma-bp-bbob Brockhoff 3.5 (1)3.3 (1)1.0 (0.2)0.89 (0.2)0.80 (0.1)↑00.75 (0.1)↑00.75 (0.1)↑015/15
cma-bt-bbob Brockhoff 5.4 (4)4.5 (3)1.3 (0.8)1.1 (0.6)0.99 (0.5)0.90 (0.4)0.89 (0.3)15/15
d-CMA-ES Gissler 3.5 (1)3.2 (0.5)0.98 (0.1)0.83 (0.1)↑00.77 (0.1)↑00.73 (0.1)↑00.74 (0.1)↑015/15
default-CMA-ES Gissler 3.4 (1)3.1 (0.5)0.96 (0.1)0.83 (0.1)↑00.76 (0.1)↑00.71 (0.1)↑00.71 (0.1)↑015/15
dm-CMA-ES Gissler 3.5 (0.7)3.2 (0.5)0.99 (0.1)0.85 (0.1)↑10.78 (0.1)↑00.74 (0.1)↑00.75 (0.1)↑015/15
m-SDWOA Espinoza 13 (5)17 (4)6.5 (1.0)6.6 (0.7)6.9 (0.6)7.5 (0.4)8.5 (0.5)15/15
s-CMA-ES Gissler 3.9 (1)3.4 (0.9)1.0 (0.3)0.89 (0.2)0.80 (0.1)↑10.73 (0.1)↑00.73 (0.1)↑015/15
sc-CMA-ES Gissler 4.1 (1)3.5 (0.9)1.1 (0.3)0.93 (0.2)0.84 (0.2)0.77 (0.2)↑10.76 (0.1)↑115/15
scd-CMA-ES Gissler 4.1 (0.6)3.4 (0.3)1.0 (0.1)0.89 (0.1)↑00.81 (0.1)↑00.76 (0.1)↑00.78 (0.1)↑015/15
scdm-CMA-ES Gissler 4.4 (2)4.0 (1)1.2 (0.3)0.99 (0.2)0.89 (0.2)0.83 (0.2)0.84 (0.1)↑115/15
sd-CMA-ES Gissler 3.7 (0.9)3.2 (0.6)0.99 (0.2)0.86 (0.1)0.79 (0.1)↑00.75 (0.1)↑00.74 (0.1)↑015/15
sdm-CMA-ES Gissler 3.5 (0.8)3.1 (0.5)0.94 (0.2)0.81 (0.1)↑10.75 (0.1)↑00.71 (0.1)↑00.71 (0.1)↑015/15

Δ fopt
f12, 5-D		 1e1
108		 1e0
268		 1e-1
371		 1e-2
413		 1e-3
461		 1e-5
1303		 1e-7
1494		 #succ
15/15
BIRMIN Kudela 1.1 (0.6)0.74 (0.3)0.85 (0.5)0.95 (0.6)0.98 (0.6)168 (192)1088 (1046)2/15
DIRECT-REV Kudela 1.1 (0.6)0.98 (1)1.1 (1)1.2 (1)1.2 (1)288 (528)1089 (1841)1/15
E-WOA Espinoza 248 (245)316 (478)571 (1044)1730 (1937)1555 (1247)∞∞5e40/15
I-DBDP-GL Kudela 45 (14)32 (14)56 (39)95 (101)174 (116)123 (44)186 (116)9/15
WOA Espinoza 1990 (2294)∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 4.9 (2)3.4 (2)3.9 (3)4.3 (3)4.5 (2)2.1 (1)2.2 (1)15/15
ad-CMA-ES Gissler 6.6 (7)5.2 (7)5.2 (6)5.6 (5)5.8 (5)2.7 (2)2.7 (2)15/15
adm-CMA-ES Gissler 8.1 (5)5.4 (5)5.5 (5)5.9 (5)6.0 (4)2.7 (2)2.7 (2)15/15
c-CMA-ES Gissler 4.8 (0.6)6.5 (5)7.3 (6)7.7 (6)7.7 (6)3.4 (3)3.4 (3)15/15
cd-CMA-ES Gissler 5.8 (3)6.7 (6)7.9 (8)8.7 (7)8.8 (7)4.0 (3)4.1 (3)15/15
cdm-CMA-ES Gissler 7.1 (5)5.4 (7)5.8 (8)6.5 (8)6.6 (7)3.1 (3)3.6 (2)15/15
cma-bp-bbob Brockhoff 4.6 (0.7)3.9 (4)4.3 (4)4.9 (4)5.5 (4)2.7 (2)2.9 (2)15/15
cma-bt-bbob Brockhoff 7.6 (5)5.4 (7)5.6 (5)6.0 (4)6.2 (4)2.8 (2)2.8 (2)15/15
d-CMA-ES Gissler 8.8 (9)7.3 (7)7.2 (6)7.2 (6)7.2 (6)3.2 (2)3.2 (2)15/15
default-CMA-ES Gissler 7.4 (10)6.7 (9)7.2 (9)7.6 (9)7.6 (8)3.4 (3)3.4 (3)15/15
dm-CMA-ES Gissler 6.2 (4)5.0 (3)6.0 (2)6.5 (3)6.6 (3)3.0 (2)3.0 (2)15/15
m-SDWOA Espinoza 69 (12)41 (12)59 (72)98 (123)131 (114)60 (39)67 (86)5/15
s-CMA-ES Gissler 8.8 (9)6.7 (8)7.0 (7)7.1 (6)7.2 (6)3.2 (2)3.2 (2)15/15
sc-CMA-ES Gissler 6.7 (4)5.6 (6)7.3 (6)7.7 (6)7.7 (5)3.4 (3)3.4 (3)15/15
scd-CMA-ES Gissler 11 (13)9.3 (10)11 (9)11 (9)11 (8)4.7 (3)4.6 (3)15/15
scdm-CMA-ES Gissler 7.5 (5)7.0 (6)7.6 (6)8.1 (7)8.4 (6)3.9 (3)4.0 (3)15/15
sd-CMA-ES Gissler 6.2 (3)6.0 (4)6.5 (6)6.7 (7)6.6 (7)2.8 (3)2.8 (3)15/15
sdm-CMA-ES Gissler 10 (9)7.8 (10)7.8 (10)8.1 (10)8.1 (9)3.6 (4)3.5 (4)15/15

Δ fopt
f13, 5-D		 1e1
132		 1e0
195		 1e-1
250		 1e-2
319		 1e-3
1310		 1e-5
1752		 1e-7
2255		 #succ
15/15
BIRMIN Kudela 0.84 (0.3)0.86 (0.2)0.82 (0.1)↑10.77 (0.1)↑096 (191)∞∞3e50/15
DIRECT-REV Kudela 0.86 (0.4)0.84 (0.2)0.88 (0.1)↑10.82 (0.1)↑1130 (191)∞∞3e50/15
E-WOA Espinoza 369 (570)1071 (1410)2854 (3000)2243 (2743)551 (448)∞∞5e40/15
I-DBDP-GL Kudela 14 (5)28 (14)52 (21)86 (33)39 (19)81 (38)815 (633)0/15
WOA Espinoza 1126 (1325)∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 2.3 (0.7)3.3 (1)3.4 (1)3.2 (0.6)0.93 (0.1)1.00 (0.1)0.93 (0.1)15/15
ad-CMA-ES Gissler 2.3 (0.3)3.0 (1)3.3 (0.8)3.4 (0.8)0.97 (0.2)0.96 (0.1)0.92 (0.1)15/15
adm-CMA-ES Gissler 2.8 (0.8)3.3 (1)3.4 (1)3.3 (0.8)0.96 (0.2)0.98 (0.2)0.95 (0.1)15/15
c-CMA-ES Gissler 2.4 (1)3.1 (1)4.2 (1)4.1 (0.5)1.2 (0.2)1.2 (0.2)1.2 (0.2)15/15
cd-CMA-ES Gissler 2.6 (0.5)3.4 (1)4.0 (1)4.0 (0.6)1.2 (0.1)1.2 (0.2)1.2 (0.1)15/15
cdm-CMA-ES Gissler 2.7 (0.8)3.4 (1)3.9 (1)4.0 (0.8)1.1 (0.2)1.2 (0.1)1.2 (0.1)15/15
cma-bp-bbob Brockhoff 2.4 (0.5)3.9 (1)4.1 (1)3.9 (1.0)1.1 (0.2)1.1 (0.2)1.1 (0.1)15/15
cma-bt-bbob Brockhoff 2.8 (1)3.7 (1)4.0 (1)3.8 (0.7)1.1 (0.2)1.1 (0.2)1.0 (0.2)15/15
d-CMA-ES Gissler 2.8 (0.8)3.1 (0.6)3.1 (0.5)3.0 (0.4)0.89 (0.1)0.97 (0.2)0.96 (0.1)15/15
default-CMA-ES Gissler 2.4 (0.6)2.9 (0.9)3.2 (0.9)3.2 (0.6)0.94 (0.1)0.98 (0.2)0.96 (0.1)15/15
dm-CMA-ES Gissler 2.5 (0.8)2.9 (1)3.3 (0.7)3.2 (0.6)0.97 (0.2)0.95 (0.1)0.95 (0.1)15/15
m-SDWOA Espinoza 25 (2)30 (2)35 (1)36 (2)11 (0.4)11 (0.3)11 (0.4)15/15
s-CMA-ES Gissler 2.5 (0.9)3.0 (1)3.4 (0.6)3.2 (0.7)0.98 (0.2)1.0 (0.2)0.95 (0.1)15/15
sc-CMA-ES Gissler 2.5 (2)3.8 (2)4.7 (2)4.6 (2)1.3 (0.5)1.3 (0.3)1.3 (0.3)15/15
scd-CMA-ES Gissler 3.0 (1)4.0 (2)4.5 (1)4.2 (0.9)1.2 (0.2)1.3 (0.3)1.2 (0.2)15/15
scdm-CMA-ES Gissler 2.6 (1)2.9 (2)3.9 (2)4.3 (1)1.3 (0.3)1.2 (0.2)1.2 (0.3)15/15
sd-CMA-ES Gissler 2.8 (1)2.9 (0.6)3.5 (0.9)3.5 (0.9)0.96 (0.2)1.0 (0.2)0.96 (0.1)15/15
sdm-CMA-ES Gissler 2.7 (2)3.1 (1)3.5 (0.9)3.4 (0.6)0.96 (0.2)0.93 (0.2)0.98 (0.1)15/15

Δ fopt
f14, 5-D		 1e1
10		 1e0
41		 1e-1
58		 1e-2
90		 1e-3
139		 1e-5
251		 1e-7
476		 #succ
15/15
BIRMIN Kudela 0.93 (1)2.0 (1)3.4 (1)11 (0.9)130 (0.7)73 (0.4)∞3e50/15
DIRECT-REV Kudela 1.7 (3)3.0 (1)2.8 (0.9)2.6 (0.8)2.2 (0.4)1.5 (0.2)2102 (2364)0/15
E-WOA Espinoza 2.2 (3)19 (15)43 (18)83 (51)234 (229)2898 (3536)∞5e40/15
I-DBDP-GL Kudela 0.71 (1)4.1 (3)11 (3)20 (8)37 (10)191 (132)3868 (3416)0/15
WOA Espinoza 2.2 (3)12 (7)102 (67)1584 (1817)5079 (4946)∞∞5e40/15
a-CMA-ES Gissler 0.63 (0.6)2.0 (0.8)3.2 (0.9)3.3 (0.7)3.3 (0.6)3.2 (0.4)2.4 (0.2)15/15
ad-CMA-ES Gissler 0.66 (0.8)1.9 (0.6)3.1 (0.9)3.6 (0.6)3.4 (0.5)3.3 (0.3)2.5 (0.3)15/15
adm-CMA-ES Gissler 0.73 (0.8)2.2 (1)3.4 (1)3.7 (0.9)3.5 (0.6)3.4 (0.5)2.5 (0.2)15/15
c-CMA-ES Gissler 0.66 (0.9)1.9 (0.7)2.9 (0.6)3.1 (1)3.3 (0.4)3.6 (0.5)2.7 (0.3)15/15
cd-CMA-ES Gissler 0.92 (1)2.2 (2)3.3 (1)3.7 (0.5)3.3 (0.6)3.4 (0.3)2.7 (0.3)15/15
cdm-CMA-ES Gissler 1.1 (2)2.0 (1)3.2 (0.8)3.6 (0.8)3.5 (0.7)3.6 (0.5)2.9 (0.3)15/15
cma-bp-bbob Brockhoff 0.84 (0.8)2.2 (0.8)3.4 (1)3.6 (0.8)3.3 (0.6)3.2 (0.5)2.5 (0.4)15/15
cma-bt-bbob Brockhoff 0.87 (1)2.4 (1)3.7 (1)3.5 (1)3.4 (0.8)3.4 (0.5)2.5 (0.2)15/15
d-CMA-ES Gissler 0.79 (0.9)1.8 (1)3.5 (1)3.9 (0.8)3.7 (0.5)3.5 (0.5)2.5 (0.2)15/15
default-CMA-ES Gissler 0.66 (0.7)1.8 (0.8)2.8 (0.6)3.2 (0.5)3.2 (0.6)3.1 (0.4)2.4 (0.2)15/15
dm-CMA-ES Gissler 0.61 (0.6)1.9 (0.7)3.3 (0.6)3.7 (0.5)3.7 (0.7)3.3 (0.6)2.5 (0.2)15/15
m-SDWOA Espinoza 2.2 (3)18 (5)34 (5)36 (8)37 (4)35 (2)27 (1)15/15
s-CMA-ES Gissler 0.67 (1)1.9 (1.0)3.1 (0.9)3.4 (1)3.3 (0.7)3.3 (0.5)2.4 (0.4)15/15
sc-CMA-ES Gissler 0.60 (0.6)2.4 (2)3.2 (2)3.6 (2)3.4 (1)3.5 (0.9)2.7 (0.5)15/15
scd-CMA-ES Gissler 0.93 (0.8)2.2 (1.0)3.4 (1)3.3 (0.8)3.5 (0.7)3.6 (0.9)2.8 (0.5)15/15
scdm-CMA-ES Gissler 0.97 (0.8)2.3 (0.7)3.3 (0.8)3.5 (0.7)3.5 (0.5)3.3 (0.7)2.7 (0.4)15/15
sd-CMA-ES Gissler 0.90 (2)1.9 (1)2.9 (1)3.3 (1)3.4 (0.8)3.4 (0.5)2.5 (0.3)15/15
sdm-CMA-ES Gissler 0.85 (1)2.2 (0.8)3.3 (0.7)3.6 (0.8)3.4 (0.5)3.1 (0.4)2.4 (0.2)15/15

Δ fopt
f15, 5-D		 1e1
511		 1e0
9310		 1e-1
19369		 1e-2
19743		 1e-3
20073		 1e-5
20769		 1e-7
21359		 #succ
14/15
BIRMIN Kudela 4.0 (5)6.4 (5)24 (29)23 (20)24 (31)29 (45)28 (35)5/15
DIRECT-REV Kudela 1.3 (1)9.2 (10)58 (55)57 (63)56 (79)54 (53)53 (58)3/15
E-WOA Espinoza 213 (245)∞∞∞∞∞∞5e40/15
I-DBDP-GL Kudela 3.3 (2)1.7 (0.9)3.2 (4)3.2 (3)3.3 (3)3.4 (3)3.6 (3)15/15
WOA Espinoza 281 (319)∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 1.3 (2)0.91 (0.9)0.80 (0.2)↑10.80 (0.2)0.81 (0.2)0.81 (0.2)0.82 (0.2)15/15
ad-CMA-ES Gissler 1.4 (2)0.76 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
adm-CMA-ES Gissler 1.6 (2)1.1 (0.8)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.2 (0.6)15/15
c-CMA-ES Gissler 1.8 (2)0.97 (0.9)0.92 (0.5)0.92 (0.5)0.93 (0.5)0.93 (0.5)0.94 (0.5)15/15
cd-CMA-ES Gissler 1.6 (2)1.0 (0.5)1.00 (0.5)1.00 (0.5)1.0 (0.5)1.0 (0.5)1.0 (0.5)15/15
cdm-CMA-ES Gissler 1.2 (0.4)1.1 (0.9)1.2 (0.7)1.2 (0.7)1.2 (0.7)1.2 (0.7)1.2 (0.7)15/15
cma-bp-bbob Brockhoff 1.0 (0.5)1.4 (2)0.92 (0.8)0.92 (0.8)0.93 (0.8)0.93 (0.8)0.94 (0.8)15/15
cma-bt-bbob Brockhoff 1.7 (2)1.8 (2)2.0 (3)2.0 (1)2.0 (2)2.0 (2)2.0 (1)11/15
d-CMA-ES Gissler 1.9 (2)1.0 (0.5)1.0 (0.7)1.0 (0.7)1.0 (0.7)1.0 (0.7)1.0 (0.7)15/15
default-CMA-ES Gissler 1.8 (2)1.1 (1.0)0.94 (0.8)0.95 (0.8)0.95 (0.7)0.95 (0.7)0.96 (0.7)15/15
dm-CMA-ES Gissler 2.1 (2)1.0 (0.7)1.2 (0.8)1.2 (0.8)1.2 (0.8)1.2 (0.8)1.3 (0.8)15/15
m-SDWOA Espinoza 8.3 (4)10 (6)∞∞∞∞∞5e40/15
s-CMA-ES Gissler 2.1 (2)0.96 (0.5)0.97 (0.6)0.98 (0.6)0.98 (0.6)0.98 (0.6)0.99 (0.6)15/15
sc-CMA-ES Gissler 1.7 (2)0.94 (0.4)0.87 (0.7)0.88 (0.7)0.88 (0.7)0.88 (0.7)0.89 (0.7)15/15
scd-CMA-ES Gissler 2.1 (2)0.94 (1)0.87 (0.7)0.88 (0.8)0.88 (0.8)0.88 (0.7)0.89 (0.7)15/15
scdm-CMA-ES Gissler 2.5 (3)0.84 (0.5)0.90 (0.7)0.90 (0.7)0.90 (0.7)0.90 (0.7)0.91 (0.7)15/15
sd-CMA-ES Gissler 1.2 (0.7)0.89 (0.9)0.85 (0.7)0.85 (0.7)0.86 (0.7)0.86 (0.7)0.87 (0.7)15/15
sdm-CMA-ES Gissler 2.1 (2)0.87 (0.4)0.98 (0.7)0.99 (0.7)0.99 (0.7)1.00 (0.7)1.0 (0.7)15/15

Δ fopt
f16, 5-D		 1e1
120		 1e0
612		 1e-1
2662		 1e-2
10163		 1e-3
10449		 1e-5
11644		 1e-7
12095		 #succ
15/15
BIRMIN Kudela 3.0 (3)5.4 (4)2.2 (2)1.4 (1)7.6 (14)321 (467)∞3e50/15
DIRECT-REV Kudela 2.5 (2)2.9 (1.0)1.4 (0.8)1.0 (0.8)2.3 (3)308 (263)∞3e50/15
E-WOA Espinoza 4.6 (7)344 (490)265 (315)∞∞∞∞5e40/15
I-DBDP-GL Kudela 2.5 (2)2.5 (1)1.4 (0.8)0.61 (0.4)0.81 (0.5)1.4 (0.6)2.1 (0.6)15/15
WOA Espinoza 1.4 (1)231 (267)266 (296)∞∞∞∞5e40/15
a-CMA-ES Gissler 2.0 (1)2.1 (2)1.6 (1)0.62 (0.6)0.67 (0.5)0.64 (0.5)0.64 (0.5)15/15
ad-CMA-ES Gissler 1.6 (1)1.9 (2)1.9 (3)0.72 (0.7)0.73 (0.7)0.69 (0.6)0.71 (0.6)15/15
adm-CMA-ES Gissler 2.3 (3)3.5 (3)1.8 (1)0.62 (0.5)0.63 (0.5)0.62 (0.5)0.62 (0.4)15/15
c-CMA-ES Gissler 2.1 (2)3.5 (3)1.2 (1)0.73 (0.7)0.89 (0.6)0.83 (0.6)0.84 (0.6)15/15
cd-CMA-ES Gissler 2.0 (2)3.5 (3)1.3 (1)0.59 (0.3)↑10.59 (0.3)↑10.60 (0.3)↑10.61 (0.3)↑115/15
cdm-CMA-ES Gissler 2.9 (2)4.1 (6)2.2 (3)0.74 (0.8)0.97 (0.8)0.93 (0.6)0.93 (0.6)15/15
cma-bp-bbob Brockhoff 1.5 (1)2.1 (3)1.7 (3)0.50 (0.7)0.51 (0.7)0.49 (0.7)0.61 (0.8)15/15
cma-bt-bbob Brockhoff 1.7 (2)3.2 (6)2.0 (2)0.62 (0.6)0.75 (0.8)0.71 (0.7)0.72 (0.7)15/15
d-CMA-ES Gissler 2.1 (2)3.2 (3)1.8 (0.8)0.62 (0.6)0.72 (0.6)0.68 (0.5)0.68 (0.5)15/15
default-CMA-ES Gissler 1.8 (2)4.8 (5)1.8 (1.0)0.52 (0.3)↑00.65 (0.5)0.65 (0.5)0.66 (0.5)15/15
dm-CMA-ES Gissler 1.7 (2)2.6 (2)1.4 (1)0.59 (0.7)0.64 (0.7)0.61 (0.6)0.62 (0.6)15/15
m-SDWOA Espinoza 3.9 (5)36 (25)∞∞∞∞∞5e40/15
s-CMA-ES Gissler 1.8 (2)4.6 (2)2.5 (2)0.84 (0.8)0.85 (0.8)0.80 (0.7)0.82 (0.6)15/15
sc-CMA-ES Gissler 3.1 (2)5.2 (6)2.0 (1)0.70 (0.5)0.73 (0.5)0.69 (0.5)0.70 (0.5)15/15
scd-CMA-ES Gissler 2.7 (2)2.5 (2)1.2 (1)0.57 (0.6)0.68 (0.6)0.71 (0.5)0.72 (0.5)15/15
scdm-CMA-ES Gissler 2.6 (3)3.8 (5)1.8 (1)0.61 (0.7)0.65 (0.7)0.67 (0.6)0.68 (0.6)15/15
sd-CMA-ES Gissler 3.6 (3)3.1 (5)1.6 (1)0.54 (0.3)↑00.57 (0.2)↑00.61 (0.2)↑10.62 (0.2)↑115/15
sdm-CMA-ES Gissler 2.7 (2)3.4 (3)1.8 (1)0.84 (0.5)1.0 (1.0)0.97 (0.9)0.97 (0.9)15/15

Δ fopt
f17, 5-D		 1e1
5.0		 1e0
215		 1e-1
899		 1e-2
2861		 1e-3
3669		 1e-5
6351		 1e-7
7934		 #succ
15/15
BIRMIN Kudela 2.2 (3)2.1 (1)3.7 (3)27 (89)213 (223)∞∞3e50/15
DIRECT-REV Kudela 2.3 (3)2.2 (0.9)1.6 (1)4.5 (7)141 (156)∞∞3e50/15
E-WOA Espinoza 4.6 (4)65 (118)∞∞∞∞∞5e40/15
I-DBDP-GL Kudela 1.5 (2)2.4 (0.9)2.7 (0.7)2.2 (0.9)3.4 (1)5.1 (0.9)7.9 (1)15/15
WOA Espinoza 4.3 (4)98 (124)∞∞∞∞∞5e40/15
a-CMA-ES Gissler 1.9 (3)0.77 (0.3)0.66 (0.2)↑10.60 (0.6)0.63 (0.5)0.73 (0.6)1.0 (0.4)15/15
ad-CMA-ES Gissler 1.1 (1)0.74 (0.2)↑10.67 (0.3)↑10.50 (0.5)0.65 (0.4)0.76 (0.5)0.96 (0.4)15/15
adm-CMA-ES Gissler 1.8 (2)2.2 (0.4)1.1 (2)0.72 (0.8)0.86 (0.6)1.1 (0.5)1.1 (0.5)15/15
c-CMA-ES Gissler 2.3 (3)0.76 (0.3)0.64 (0.2)↑10.54 (0.5)0.75 (0.7)0.75 (0.6)0.99 (0.7)15/15
cd-CMA-ES Gissler 1.4 (2)0.74 (0.3)0.51 (0.2)↑00.48 (0.5)0.79 (0.5)0.80 (0.3)1.0 (0.5)15/15
cdm-CMA-ES Gissler 1.4 (2)0.70 (0.2)↑10.69 (0.2)↑10.54 (0.8)0.58 (0.6)1.1 (0.5)1.3 (0.9)15/15
cma-bp-bbob Brockhoff 1.3 (1)0.90 (0.3)0.70 (0.3)↑10.53 (0.5)0.97 (0.5)0.96 (0.6)1.1 (1.0)15/15
cma-bt-bbob Brockhoff 0.92 (1)1.7 (0.4)0.85 (1)0.55 (0.5)0.72 (0.5)0.92 (0.5)1.0 (0.5)15/15
d-CMA-ES Gissler 1.5 (1)0.77 (0.2)↑10.71 (0.2)↑10.59 (0.6)0.82 (0.5)0.82 (0.5)0.94 (0.4)15/15
default-CMA-ES Gissler 1.3 (2)0.77 (0.3)1.1 (2)0.52 (0.6)0.64 (0.5)1.0 (0.4)1.1 (0.5)15/15
dm-CMA-ES Gissler 1.7 (2)0.84 (0.2)0.89 (0.3)↑10.64 (0.9)0.78 (0.7)1.1 (0.6)1.2 (0.4)15/15
m-SDWOA Espinoza 4.4 (4)7.0 (2)6.4 (0.7)3.8 (0.5)4.2 (0.5)4.2 (0.2)4.5 (0.2)15/15
s-CMA-ES Gissler 1.4 (1)0.74 (0.2)1.1 (1)0.59 (0.5)0.81 (0.4)1.0 (0.5)1.0 (0.5)15/15
sc-CMA-ES Gissler 1.4 (2)1.5 (0.5)0.86 (1)0.75 (0.6)0.84 (0.5)0.98 (0.5)1.1 (0.4)15/15
scd-CMA-ES Gissler 2.1 (3)0.89 (0.5)1.6 (2)0.76 (0.6)0.95 (1.0)1.2 (0.5)1.2 (0.4)15/15
scdm-CMA-ES Gissler 1.8 (2)0.99 (0.8)1.1 (2)0.68 (0.5)1.0 (0.5)1.4 (0.7)1.2 (0.6)15/15
sd-CMA-ES Gissler 1.7 (2)0.82 (0.4)1.1 (2)0.63 (0.6)0.83 (1)1.1 (0.6)1.1 (0.5)15/15
sdm-CMA-ES Gissler 1.5 (2)0.76 (0.2)↑10.47 (0.1)↑00.56 (0.5)0.75 (0.6)1.0 (0.5)1.1 (0.4)15/15

Δ fopt
f18, 5-D		 1e1
103		 1e0
378		 1e-1
3968		 1e-2
8451		 1e-3
9280		 1e-5
10905		 1e-7
12469		 #succ
15/15
BIRMIN Kudela 3.6 (2)5.3 (7)2.2 (2)13 (16)120 (142)∞∞3e50/15
DIRECT-REV Kudela 2.3 (2)3.4 (2)1.5 (0.7)7.9 (15)64 (68)∞∞3e50/15
E-WOA Espinoza 13 (17)194 (253)∞∞∞∞∞5e40/15
I-DBDP-GL Kudela 1.1 (1)3.7 (1)1.4 (0.6)1.7 (1)3.7 (2)8.5 (4)15 (11)12/15
WOA Espinoza 11 (25)537 (1024)∞∞∞∞∞5e40/15
a-CMA-ES Gissler 0.87 (0.8)0.87 (0.3)0.38 (0.4)↑10.59 (0.5)0.62 (0.4)↑10.65 (0.3)↑10.78 (0.5)15/15
ad-CMA-ES Gissler 0.92 (0.4)0.90 (0.4)0.70 (0.6)0.49 (0.4)0.50 (0.3)0.65 (0.3)↑10.78 (0.3)15/15
adm-CMA-ES Gissler 0.74 (0.7)2.4 (4)0.48 (0.9)0.65 (0.8)0.72 (0.8)0.81 (0.6)0.92 (0.6)15/15
c-CMA-ES Gissler 0.84 (0.7)1.5 (0.4)0.75 (0.9)0.63 (0.5)0.76 (0.4)0.94 (0.6)1.0 (0.6)15/15
cd-CMA-ES Gissler 0.85 (0.5)0.95 (0.3)0.48 (0.5)0.50 (0.4)0.49 (0.4)↑10.59 (0.3)0.82 (0.2)↑015/15
cdm-CMA-ES Gissler 0.70 (0.3)0.87 (0.2)0.56 (0.5)0.51 (0.5)0.61 (0.5)0.78 (0.3)0.93 (0.5)15/15
cma-bp-bbob Brockhoff 0.88 (0.7)1.0 (0.7)0.59 (0.9)0.50 (0.4)↑10.51 (0.4)↑10.84 (0.6)0.93 (0.5)15/15
cma-bt-bbob Brockhoff 0.78 (0.6)0.98 (0.6)1.0 (1)0.93 (0.7)0.93 (0.6)0.96 (0.5)1.1 (0.8)15/15
d-CMA-ES Gissler 0.86 (0.5)1.5 (0.6)0.52 (0.4)0.47 (0.5)0.60 (0.5)0.69 (0.5)0.92 (0.3)15/15
default-CMA-ES Gissler 0.78 (0.6)1.3 (0.5)0.35 (0.3)↑00.48 (0.3)↑10.59 (0.4)0.78 (0.4)0.84 (0.3)15/15
dm-CMA-ES Gissler 0.82 (0.6)1.5 (0.3)0.39 (0.4)↑10.47 (0.5)0.49 (0.5)0.72 (0.3)0.92 (0.6)15/15
m-SDWOA Espinoza 5.5 (3)9.3 (3)2.2 (0.4)1.7 (0.1)2.3 (0.1)3.0 (0.1)3.5 (0.2)15/15
s-CMA-ES Gissler 0.65 (0.6)5.7 (0.2)1.1 (0.4)0.82 (0.8)0.97 (0.7)0.99 (0.6)1.1 (0.7)15/15
sc-CMA-ES Gissler 0.91 (0.8)1.9 (4)0.41 (0.4)↑10.44 (0.4)↑10.55 (0.5)0.75 (0.3)↑10.81 (0.3)15/15
scd-CMA-ES Gissler 0.80 (0.6)1.0 (0.3)0.38 (0.4)↑00.46 (0.5)0.62 (0.4)0.80 (0.3)0.93 (0.5)15/15
scdm-CMA-ES Gissler 0.84 (0.5)0.90 (0.2)0.34 (0.4)↑10.43 (0.4)↑10.57 (0.3)↑10.60 (0.3)↑10.78 (0.3)↑015/15
sd-CMA-ES Gissler 0.97 (0.6)1.4 (0.4)0.54 (0.4)↑00.59 (0.5)0.58 (0.5)0.76 (0.5)0.91 (0.5)15/15
sdm-CMA-ES Gissler 0.69 (0.3)↑14.6 (0.3)1.0 (1.0)0.77 (0.9)0.76 (0.8)0.88 (0.6)0.96 (0.6)15/15

Δ fopt
f19, 5-D		 1e1
1		 1e0
1		 1e-1
242		 1e-2
1.0e5		 1e-3
1.2e5		 1e-5
1.2e5		 1e-7
1.2e5		 #succ
15/15
BIRMIN Kudela 19 (23)7969 (1e4)4715 (6262)∞∞∞∞3e50/15
DIRECT-REV Kudela 1 (0)1 (0)2.2 (4)★3∞∞∞∞3e50/15
E-WOA Espinoza 51 (48)3564 (5768)245 (313)∞∞∞∞5e40/15
I-DBDP-GL Kudela 28 (32)3699 (3705)538 (566)8.2 (8)15 (20)15 (16)15 (14)2/15
WOA Espinoza 55 (56)7227 (6232)463 (425)∞∞∞∞5e40/15
a-CMA-ES Gissler 1 (0)1 (0)140 (125)0.89 (0.7)1.0 (0.7)1.0 (0.7)1.0 (0.7)15/15
ad-CMA-ES Gissler 1 (0)1 (0)113 (106)0.65 (0.7)0.74 (0.6)0.74 (0.6)0.75 (0.6)15/15
adm-CMA-ES Gissler 1 (0)1 (0)130 (77)0.85 (0.6)0.83 (0.6)0.84 (0.6)0.84 (0.6)15/15
c-CMA-ES Gissler 1 (0)1 (0)60 (64)0.71 (0.7)0.75 (0.6)0.76 (0.6)0.76 (0.6)15/15
cd-CMA-ES Gissler 1 (0)1 (0)87 (73)0.85 (0.6)0.87 (0.5)0.88 (0.5)0.88 (0.5)15/15
cdm-CMA-ES Gissler 1 (0)1 (0)116 (114)1.1 (0.7)1.1 (0.9)1.1 (0.9)1.1 (0.9)15/15
cma-bp-bbob Brockhoff 1 (0)1 (0)145 (153)6.7 (7)∞∞∞5e40/15
cma-bt-bbob Brockhoff 1 (0)1 (0)142 (118)1.3 (1)2.0 (3)3.0 (3)3.0 (3)2/15
d-CMA-ES Gissler 1 (0)1 (0)101 (71)0.75 (0.8)0.79 (0.7)0.80 (0.7)0.80 (0.7)15/15
default-CMA-ES Gissler 1 (0)1 (0)79 (70)0.84 (0.5)0.91 (0.6)0.92 (0.6)0.93 (0.6)15/15
dm-CMA-ES Gissler 1 (0)1 (0)112 (85)0.83 (0.7)0.86 (0.6)0.87 (0.6)0.87 (0.7)15/15
m-SDWOA Espinoza 58 (61)3411 (2621)1414 (1832)∞∞∞∞5e40/15
s-CMA-ES Gissler 1 (0)1 (0)157 (101)0.85 (0.6)0.90 (0.7)0.90 (0.7)0.91 (0.7)15/15
sc-CMA-ES Gissler 1 (0)1 (0)97 (106)0.74 (0.7)0.66 (0.5)0.67 (0.5)0.67 (0.5)15/15
scd-CMA-ES Gissler 1 (0)1 (0)153 (111)0.83 (0.6)1.1 (0.7)1.1 (0.7)1.1 (0.7)15/15
scdm-CMA-ES Gissler 1 (0)1 (0)194 (184)1.1 (0.7)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
sd-CMA-ES Gissler 1 (0)1 (0)172 (140)1.3 (0.6)1.2 (0.5)1.2 (0.5)1.2 (0.5)15/15
sdm-CMA-ES Gissler 1 (0)1 (0)145 (135)0.97 (0.7)0.99 (0.7)0.99 (0.7)1.00 (0.7)15/15

Δ fopt
f20, 5-D		 1e1
16		 1e0
851		 1e-1
38111		 1e-2
51362		 1e-3
54470		 1e-5
54861		 1e-7
55313		 #succ
14/15
BIRMIN Kudela 1.6 (1)1.6 (2)2.9 (4)2.2 (3)3.6 (3)13 (11)13 (12)4/15
DIRECT-REV Kudela 2.2 (0)1.9 (1)49 (54)36 (41)34 (50)34 (25)34 (34)2/15
E-WOA Espinoza 26 (25)86 (110)∞∞∞∞∞5e40/15
I-DBDP-GL Kudela 4.8 (5)0.96 (0.6)1.8 (3)1.3 (2)1.3 (2)1.4 (2)1.4 (2)12/15
WOA Espinoza 22 (25)∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 1.9 (1)8.2 (11)1.6 (2)1.3 (1)1.2 (1)1.3 (1)1.3 (1)15/15
ad-CMA-ES Gissler 2.0 (2)6.2 (6)1.8 (1)1.4 (1)1.4 (1)1.4 (1)1.4 (1)15/15
adm-CMA-ES Gissler 2.5 (2)7.1 (7)1.2 (0.8)0.93 (0.7)0.90 (0.6)0.92 (0.7)0.94 (0.7)15/15
c-CMA-ES Gissler 2.3 (2)5.8 (6)1.7 (1)1.3 (1)1.3 (1)1.3 (1)1.3 (1)15/15
cd-CMA-ES Gissler 1.9 (2)6.4 (6)1.5 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
cdm-CMA-ES Gissler 1.6 (1)5.9 (6)1.5 (1)1.2 (0.9)1.2 (0.8)1.2 (0.8)1.2 (0.9)15/15
cma-bp-bbob Brockhoff 1.9 (1)3.7 (3)1.6 (2)1.3 (1)1.3 (1)1.4 (2)1.4 (1)8/15
cma-bt-bbob Brockhoff 1.9 (2)5.5 (4)1.2 (0.9)1.0 (0.7)0.98 (0.7)0.99 (0.9)1.00 (0.7)10/15
d-CMA-ES Gissler 1.6 (1.0)8.7 (5)1.5 (0.5)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
default-CMA-ES Gissler 2.1 (1)7.4 (7)1.5 (0.6)1.2 (0.5)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
dm-CMA-ES Gissler 2.1 (2)11 (12)2.2 (1)1.7 (1)1.7 (1)1.7 (1)1.8 (1)15/15
m-SDWOA Espinoza 16 (10)15 (11)1.5 (0.8)1.5 (1)1.4 (1.0)1.6 (1.0)4.4 (3)2/15
s-CMA-ES Gissler 1.4 (1)8.3 (5)1.2 (0.8)0.95 (0.7)0.92 (0.7)0.94 (0.7)0.96 (0.7)15/15
sc-CMA-ES Gissler 1.6 (1)4.9 (6)1.7 (2)1.3 (1)1.3 (1)1.3 (1)1.3 (1)15/15
scd-CMA-ES Gissler 2.6 (3)8.0 (5)2.5 (2)2.0 (1)1.9 (1)1.9 (1)2.0 (1)15/15
scdm-CMA-ES Gissler 1.6 (0.9)8.1 (6)2.0 (1)1.5 (1)1.5 (1)1.5 (1)1.5 (1)15/15
sd-CMA-ES Gissler 2.1 (1)7.9 (7)2.1 (1)1.6 (1)1.6 (1)1.6 (1)1.6 (1)15/15
sdm-CMA-ES Gissler 1.9 (1)11 (10)1.8 (0.8)1.4 (0.6)1.4 (0.6)1.4 (0.6)1.4 (0.6)15/15

Δ fopt
f21, 5-D		 1e1
41		 1e0
1157		 1e-1
1674		 1e-2
1692		 1e-3
1705		 1e-5
1729		 1e-7
1757		 #succ
14/15
BIRMIN Kudela 2.0 (3)0.45 (0.4)↑10.53 (0.5)0.76 (0.7)1.1 (1)26 (73)96 (71)1/15
DIRECT-REV Kudela 1.8 (3)0.51 (0.4)0.85 (0.6)0.88 (0.6)0.91 (0.6)0.97 (0.6)84 (143)2/15
E-WOA Espinoza 8.6 (6)31 (46)33 (31)35 (37)36 (54)41 (37)60 (56)4/15
I-DBDP-GL Kudela 1.4 (1)0.68 (0.8)0.83 (0.8)1.0 (0.8)1.2 (0.9)1.9 (0.8)2.5 (0.8)15/15
WOA Espinoza 5.3 (5)66 (77)84 (84)120 (111)120 (124)192 (222)∞5e40/15
a-CMA-ES Gissler 1.7 (2)26 (8)34 (101)34 (99)34 (98)33 (103)33 (101)13/15
ad-CMA-ES Gissler 1.2 (1)47 (140)59 (100)59 (100)58 (98)58 (99)58 (96)12/15
adm-CMA-ES Gissler 0.85 (0.9)16 (9)38 (106)39 (114)39 (107)38 (113)38 (100)13/15
c-CMA-ES Gissler 3.4 (2)5.2 (14)48 (102)68 (111)69 (103)69 (105)68 (101)12/15
cd-CMA-ES Gissler 1.2 (1)23 (8)33 (100)33 (99)33 (101)32 (97)32 (95)13/15
cdm-CMA-ES Gissler 1.3 (1)2.7 (3)24 (19)42 (110)42 (109)42 (116)41 (106)13/15
cma-bp-bbob Brockhoff 1.5 (1)4.6 (3)4.6 (6)4.7 (6)4.7 (6)4.9 (7)5.0 (7)15/15
cma-bt-bbob Brockhoff 1.7 (1)5.2 (5)16 (27)16 (20)15 (21)15 (17)15 (18)11/15
d-CMA-ES Gissler 6.2 (18)8.1 (13)59 (105)59 (103)59 (103)59 (105)58 (100)12/15
default-CMA-ES Gissler 5.9 (17)8.7 (8)11 (31)12 (34)12 (35)12 (36)13 (36)15/15
dm-CMA-ES Gissler 1.8 (1)14 (25)29 (20)46 (110)46 (110)46 (108)46 (107)13/15
m-SDWOA Espinoza 4.1 (4)2.7 (2)8.2 (16)9.2 (15)10 (15)10 (15)11 (14)13/15
s-CMA-ES Gissler 1.5 (1)30 (7)40 (106)40 (119)40 (103)39 (101)39 (100)13/15
sc-CMA-ES Gissler 1.0 (0.5)34 (41)58 (109)57 (101)57 (103)57 (110)56 (150)12/15
scd-CMA-ES Gissler 1.9 (3)10 (13)52 (100)52 (100)52 (100)51 (101)50 (98)12/15
scdm-CMA-ES Gissler 1.2 (1)31 (9)40 (118)40 (114)40 (110)40 (112)39 (107)13/15
sd-CMA-ES Gissler 1.5 (1)1.9 (3)19 (10)19 (10)19 (10)19 (10)19 (10)14/15
sdm-CMA-ES Gissler 1.5 (2)18 (24)55 (118)73 (204)73 (206)73 (161)73 (122)12/15

Δ fopt
f22, 5-D		 1e1
71		 1e0
386		 1e-1
938		 1e-2
980		 1e-3
1008		 1e-5
1040		 1e-7
1068		 #succ
14/15
BIRMIN Kudela 1.6 (2)1.8 (1)2.2 (2)2.7 (3)4.2 (5)63 (120)269 (352)1/15
DIRECT-REV Kudela 2.1 (3)1.5 (1)3.6 (4)3.5 (4)3.4 (4)3.5 (3)90 (121)2/15
E-WOA Espinoza 7.4 (10)40 (68)152 (189)150 (102)153 (115)335 (346)682 (702)1/15
I-DBDP-GL Kudela 1.7 (0.5)2.2 (1)3.3 (2)3.6 (2)4.2 (2)6.4 (3)9.1 (5)15/15
WOA Espinoza 53 (3)153 (227)748 (800)∞∞∞∞5e40/15
a-CMA-ES Gissler 3.5 (9)7.6 (15)270 (539)397 (606)386 (671)374 (414)364 (476)7/15
ad-CMA-ES Gissler 4.1 (9)5.9 (5)78 (172)131 (179)128 (330)124 (165)121 (171)11/15
adm-CMA-ES Gissler 4.0 (10)12 (15)190 (232)232 (224)227 (203)223 (343)219 (190)10/15
c-CMA-ES Gissler 5.0 (10)10 (15)248 (328)409 (706)398 (537)386 (664)376 (652)7/15
cd-CMA-ES Gissler 5.6 (11)15 (24)174 (206)246 (375)240 (326)233 (316)228 (394)9/15
cdm-CMA-ES Gissler 2.8 (1)24 (16)229 (219)279 (385)273 (310)266 (368)259 (474)9/15
cma-bp-bbob Brockhoff 9.3 (22)21 (25)120 (215)115 (128)112 (147)109 (128)107 (96)5/15
cma-bt-bbob Brockhoff 1.2 (0.7)23 (45)86 (111)82 (94)80 (116)78 (75)76 (95)6/15
d-CMA-ES Gissler 3.9 (10)16 (25)81 (169)136 (197)132 (174)129 (183)126 (246)11/15
default-CMA-ES Gissler 1.3 (0.6)26 (42)227 (387)221 (358)215 (250)212 (238)208 (397)10/15
dm-CMA-ES Gissler 4.3 (2)6.4 (9)284 (442)272 (312)265 (374)258 (364)251 (438)9/15
m-SDWOA Espinoza 6.0 (5)11 (6)41 (55)42 (27)42 (50)52 (38)52 (37)8/15
s-CMA-ES Gissler 3.3 (8)24 (24)110 (187)147 (201)171 (200)174 (321)171 (284)11/15
sc-CMA-ES Gissler 3.4 (9)6.4 (14)74 (174)76 (169)73 (164)73 (159)72 (155)13/15
scd-CMA-ES Gissler 2.5 (1)45 (24)126 (181)155 (187)151 (336)148 (227)146 (178)11/15
scdm-CMA-ES Gissler 2.6 (0.9)9.4 (14)188 (324)464 (529)452 (583)439 (551)428 (539)7/15
sd-CMA-ES Gissler 1.2 (0.9)11 (17)106 (183)102 (176)100 (249)98 (162)96 (163)12/15
sdm-CMA-ES Gissler 2.2 (1)12 (24)312 (454)370 (777)361 (494)351 (385)343 (553)8/15

Δ fopt
f23, 5-D		 1e1
3.0		 1e0
518		 1e-1
14249		 1e-2
27890		 1e-3
31654		 1e-5
33030		 1e-7
34256		 #succ
15/15
BIRMIN Kudela 2.2 (4)17 (30)50 (89)128 (112)∞∞∞3e50/15
DIRECT-REV Kudela 3.3 (4)3.6 (6)50 (66)126 (87)111 (113)∞∞3e50/15
E-WOA Espinoza 3.4 (4)54 (48)∞∞∞∞∞5e40/15
I-DBDP-GL Kudela 1.8 (2)7.7 (3)1.2 (0.7)0.95 (0.6)1.3 (0.8)2.2 (0.9)3.3 (1)15/15
WOA Espinoza 3.4 (4)26 (49)∞∞∞∞∞5e40/15
a-CMA-ES Gissler 2.4 (2)5.8 (6)3.7 (6)1.9 (3)1.7 (3)1.7 (3)1.7 (3)15/15
ad-CMA-ES Gissler 2.6 (3)4.9 (5)1.5 (1)0.85 (0.6)0.81 (0.5)0.81 (0.5)0.81 (0.5)15/15
adm-CMA-ES Gissler 3.3 (4)5.7 (6)1.1 (0.9)0.91 (0.9)0.82 (0.8)0.81 (0.8)0.82 (0.8)15/15
c-CMA-ES Gissler 2.3 (2)6.8 (6)2.2 (2)1.5 (1)1.3 (1)1.3 (1.0)1.3 (1.0)15/15
cd-CMA-ES Gissler 2.6 (3)7.2 (9)2.1 (2)1.1 (1)1.6 (2)1.6 (2)1.6 (2)15/15
cdm-CMA-ES Gissler 2.6 (3)13 (15)3.7 (3)2.0 (2)1.8 (1)1.7 (1)1.7 (1)15/15
cma-bp-bbob Brockhoff 3.7 (5)6.9 (5)1.8 (2)1.3 (1)1.2 (1)1.1 (1)1.1 (1)12/15
cma-bt-bbob Brockhoff 2.5 (3)7.0 (7)4.0 (4)2.3 (2)2.1 (2)2.0 (2)2.0 (3)8/15
d-CMA-ES Gissler 3.2 (2)8.6 (7)10 (26)6.3 (18)5.6 (16)5.4 (15)5.2 (15)13/15
default-CMA-ES Gissler 3.2 (3)11 (8)13 (14)6.6 (7)5.8 (7)5.9 (6)5.8 (6)14/15
dm-CMA-ES Gissler 2.3 (2)8.4 (7)2.0 (2)1.8 (3)1.6 (2)1.6 (2)1.6 (2)15/15
m-SDWOA Espinoza 3.4 (4)30 (23)∞∞∞∞∞5e40/15
s-CMA-ES Gissler 1.9 (2)10 (9)2.7 (2)1.7 (2)1.5 (2)1.5 (2)1.5 (2)15/15
sc-CMA-ES Gissler 2.0 (1)15 (26)5.1 (5)2.9 (3)2.5 (2)2.7 (2)2.7 (2)15/15
scd-CMA-ES Gissler 3.3 (4)12 (11)9.1 (10)4.7 (5)4.2 (5)4.0 (5)3.9 (4)14/15
scdm-CMA-ES Gissler 2.8 (5)8.0 (8)5.3 (11)3.0 (6)2.7 (5)2.9 (5)2.8 (5)15/15
sd-CMA-ES Gissler 2.6 (4)11 (16)1.5 (1)1.7 (2)1.5 (2)1.5 (2)1.5 (2)15/15
sdm-CMA-ES Gissler 2.5 (2)11 (7)3.6 (3)2.4 (2)4.4 (4)4.3 (4)4.2 (4)14/15

Δ fopt
f24, 5-D		 1e1
1622		 1e0
2.2e5		 1e-1
6.4e6		 1e-2
9.6e6		 1e-3
9.6e6		 1e-5
1.3e7		 1e-7
1.3e7		 #succ
3/15
BIRMIN Kudela 7.6 (15)7.7 (11)∞∞∞∞∞3e50/15
DIRECT-REV Kudela 10 (10)7.8 (11)∞∞∞∞∞3e50/15
E-WOA Espinoza 31 (45)∞∞∞∞∞∞5e40/15
I-DBDP-GL Kudela 3.6 (3)1.1 (2)0.13 (0.2)0.38 (0.5)0.38 (0.5)0.29 (0.2)0.29 (0.2)1/15
WOA Espinoza 39 (40)∞∞∞∞∞∞5e40/15
a-CMA-ES Gissler 1.4 (2)13 (15)1.1 (1)1.5 (2)1.5 (1)1.1 (1)1.1 (1)1/15
ad-CMA-ES Gissler 1.2 (1)2.9 (5)0.26 (0.4)0.31 (0.5)0.31 (0.5)0.23 (0.2)0.23 (0.4)4/15
adm-CMA-ES Gissler 1.4 (1)30 (39)2.2 (2)1.5 (1)1.5 (2)1.1 (1)1.1 (1)1/15
c-CMA-ES Gissler 1.3 (1)13 (13)1.0 (2)1.5 (1)1.5 (2)1.1 (1)1.1 (1)1/15
cd-CMA-ES Gissler 2.0 (1)1.9 (3)0.46 (0.4)0.70 (0.8)0.70 (0.8)0.53 (0.6)0.53 (0.7)2/15
cdm-CMA-ES Gissler 2.6 (3)65 (67)∞∞∞∞∞1e60/15
cma-bp-bbob Brockhoff 1.4 (2)0.56 (0.6)∞∞∞∞∞5e40/15
cma-bt-bbob Brockhoff 2.2 (2)3.4 (6)0.12 (0.1)∞∞∞∞5e40/15
d-CMA-ES Gissler 1.9 (2)5.6 (11)2.3 (2)∞∞∞∞1e60/15
default-CMA-ES Gissler 1.9 (2)13 (12)2.2 (3)1.5 (1)1.5 (2)1.1 (2)1.1 (0.9)1/15
dm-CMA-ES Gissler 2.0 (2)10 (13)2.2 (2)∞∞∞∞1e60/15
m-SDWOA Espinoza 7.9 (7)∞∞∞∞∞∞5e40/15
s-CMA-ES Gissler 2.0 (2)13 (14)∞∞∞∞∞1e60/15
sc-CMA-ES Gissler 1.7 (2)13 (19)∞∞∞∞∞1e60/15
scd-CMA-ES Gissler 1.8 (2)7.6 (10)0.69 (0.9)0.46 (0.3)0.46 (0.5)0.34 (0.4)0.35 (0.3)3/15
scdm-CMA-ES Gissler 1.9 (2)19 (20)∞∞∞∞∞1e60/15
sd-CMA-ES Gissler 1.5 (1)3.4 (5)1.1 (1)1.5 (2)1.5 (2)1.1 (1)1.1 (0.9)1/15
sdm-CMA-ES Gissler 2.0 (2)19 (30)∞∞∞∞∞1e60/15

Previous dimension | Dimension = 10 | Next dimension

Δ fopt
f1, 10-D		 1e1
22		 1e0
23		 1e-1
23		 1e-2
23		 1e-3
23		 1e-5
23		 1e-7
23		 #succ
15/15
BIRMIN Kudela 2.9 (0.6)3.2 (0.6)3.2 (0.6)3.2 (0.6)4.5 (1)6.6 (1.0)7.0 (0.9)15/15
DIRECT-REV Kudela 2.3 (0.1)2.7 (0.1)★32.7 (0.1)★32.7 (0.1)★33.0 (0.2)★35.9 (0.3)5.9 (0.2)★315/15
E-WOA Espinoza 43 (29)190 (67)435 (124)768 (276)1242 (312)2326 (527)5704 (2466)7/15
I-DBDP-GL Kudela 11 (6)69 (27)170 (46)343 (105)591 (154)1217 (185)2119 (330)15/15
WOA Espinoza 35 (29)1950 (2268)2.9e4 (4e4)∞∞∞∞1e50/15
a-CMA-ES Gissler 3.8 (1)10 (3)16 (3)22 (2)28 (2)40 (3)52 (3)15/15
ad-CMA-ES Gissler 3.7 (1)11 (2)17 (3)24 (2)31 (3)44 (3)58 (3)15/15
adm-CMA-ES Gissler 4.6 (1)11 (2)18 (2)24 (2)31 (4)45 (3)58 (3)15/15
c-CMA-ES Gissler 3.9 (1)11 (2)17 (2)23 (4)30 (3)43 (3)57 (5)15/15
cd-CMA-ES Gissler 4.9 (2)12 (3)20 (2)28 (2)35 (4)52 (4)66 (3)15/15
cdm-CMA-ES Gissler 4.0 (2)11 (1)19 (2)26 (2)34 (3)50 (3)65 (3)15/15
cma-bp-bbob Brockhoff 4.1 (2)10 (3)17 (2)23 (4)30 (4)44 (5)56 (5)15/15
cma-bt-bbob Brockhoff 4.4 (3)14 (5)20 (4)27 (4)33 (5)45 (5)59 (6)15/15
d-CMA-ES Gissler 3.7 (2)11 (2)19 (2)26 (3)33 (3)48 (4)62 (3)15/15
default-CMA-ES Gissler 3.6 (1)11 (2)17 (3)24 (2)30 (3)43 (4)57 (4)15/15
dm-CMA-ES Gissler 4.1 (2)11 (2)18 (2)25 (2)33 (2)47 (4)62 (4)15/15
m-SDWOA Espinoza 38 (22)121 (22)204 (26)288 (29)379 (22)549 (24)717 (21)15/15
s-CMA-ES Gissler 3.8 (2)11 (3)17 (4)24 (5)32 (7)45 (7)60 (8)15/15
sc-CMA-ES Gissler 4.1 (1)11 (3)19 (3)25 (4)32 (5)47 (6)62 (7)15/15
scd-CMA-ES Gissler 4.2 (2)12 (6)19 (6)27 (6)34 (6)48 (6)63 (7)15/15
scdm-CMA-ES Gissler 4.3 (2)11 (4)19 (4)27 (4)33 (5)49 (6)63 (9)15/15
sd-CMA-ES Gissler 4.6 (3)12 (4)18 (5)26 (6)33 (6)47 (6)62 (7)15/15
sdm-CMA-ES Gissler 4.4 (2)11 (3)19 (4)26 (5)34 (5)48 (8)62 (9)15/15

Δ fopt
f2, 10-D		 1e1
187		 1e0
190		 1e-1
191		 1e-2
191		 1e-3
193		 1e-5
194		 1e-7
195		 #succ
15/15
BIRMIN Kudela 1.6 (0.7)2.1 (0.6)2.8 (0.6)3.2 (0.5)3.5 (0.7)4.0 (0.7)4.5 (0.7)14/15
DIRECT-REV Kudela 1.7 (1.0)2.2 (0.7)2.7 (0.9)3.2 (1)3.5 (1)4.2 (2)4.7 (2)15/15
E-WOA Espinoza 457 (368)826 (601)1456 (785)3769 (4170)3814 (4403)∞∞1e50/15
I-DBDP-GL Kudela 112 (32)231 (190)540 (367)812 (1009)1216 (1356)1668 (1684)3720 (3098)5/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 12 (2)15 (2)16 (2)17 (2)17 (2)19 (2)20 (1)15/15
ad-CMA-ES Gissler 11 (3)14 (2)16 (1)16 (1)17 (1)19 (1)20 (1)15/15
adm-CMA-ES Gissler 11 (2)14 (3)15 (3)16 (2)17 (2)19 (2)20 (2)15/15
c-CMA-ES Gissler 15 (3)17 (3)19 (2)20 (2)21 (2)22 (1)24 (2)15/15
cd-CMA-ES Gissler 15 (3)18 (3)19 (3)21 (3)22 (2)23 (2)25 (2)15/15
cdm-CMA-ES Gissler 14 (3)17 (3)19 (3)20 (3)21 (3)23 (3)25 (3)15/15
cma-bp-bbob Brockhoff 12 (3)14 (2)16 (1)17 (1)18 (1)19 (0.9)21 (0.9)15/15
cma-bt-bbob Brockhoff 13 (3)15 (3)17 (2)18 (2)18 (2)20 (2)21 (2)15/15
d-CMA-ES Gissler 13 (2)15 (1)16 (1)17 (1)18 (1)19 (0.9)21 (1)15/15
default-CMA-ES Gissler 12 (2)14 (1)16 (2)17 (2)17 (2)19 (2)20 (2)15/15
dm-CMA-ES Gissler 13 (3)14 (2)16 (2)17 (1)17 (2)19 (2)21 (2)15/15
m-SDWOA Espinoza 41 (3)51 (5)61 (4)72 (5)81 (4)101 (5)120 (6)15/15
s-CMA-ES Gissler 13 (3)16 (3)18 (2)19 (2)19 (2)21 (2)22 (2)15/15
sc-CMA-ES Gissler 15 (5)18 (4)21 (3)23 (3)24 (3)25 (3)27 (3)15/15
scd-CMA-ES Gissler 17 (5)21 (3)22 (4)23 (3)24 (4)26 (3)27 (3)15/15
scdm-CMA-ES Gissler 15 (4)19 (3)20 (2)21 (3)22 (2)24 (3)26 (3)15/15
sd-CMA-ES Gissler 14 (3)16 (3)18 (3)19 (2)19 (2)21 (2)23 (2)15/15
sdm-CMA-ES Gissler 14 (4)17 (2)18 (1)19 (1)20 (2)21 (2)23 (2)15/15

Δ fopt
f3, 10-D		 1e1
1739		 1e0
3600		 1e-1
3609		 1e-2
3636		 1e-3
3642		 1e-5
3646		 1e-7
3651		 #succ
15/15
BIRMIN Kudela 682 (766)∞∞∞∞∞∞5e50/15
DIRECT-REV Kudela 317 (359)∞∞∞∞∞∞5e50/15
E-WOA Espinoza 824 (1366)∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 59 (123)2011 (2745)∞∞∞∞∞5e50/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 2.7 (3)381 (620)5702 (5830)5660 (6091)5651 (6948)5645 (1e4)5637 (4862)1/15
ad-CMA-ES Gissler 3.3 (3)326 (613)∞∞∞∞∞1e60/15
adm-CMA-ES Gissler 3.5 (2)510 (760)5933 (4146)5889 (4770)5879 (2e4)5873 (6112)5866 (6650)1/15
c-CMA-ES Gissler 3.0 (2)603 (767)5485 (6871)5445 (6184)5436 (3654)5431 (5519)5425 (4603)1/15
cd-CMA-ES Gissler 3.7 (3)252 (350)∞∞∞∞∞1e60/15
cdm-CMA-ES Gissler 4.1 (3)741 (1138)3609 (3442)3582 (6192)3577 (3530)3574 (3040)3569 (5404)1/15
cma-bp-bbob Brockhoff 4.6 (2)131 (145)412 (437)409 (482)409 (392)409 (337)410 (405)1/15
cma-bt-bbob Brockhoff 5.5 (3)119 (106)∞∞∞∞∞1e50/15
d-CMA-ES Gissler 4.1 (3)427 (643)∞∞∞∞∞1e60/15
default-CMA-ES Gissler 3.4 (3)1079 (1195)5397 (6313)5358 (6836)5350 (7993)5345 (3149)5339 (5843)1/15
dm-CMA-ES Gissler 2.3 (2)527 (606)4657 (5341)4623 (5815)4615 (7717)4611 (4922)4606 (5796)1/15
m-SDWOA Espinoza 38 (11)206 (229)413 (437)411 (316)410 (446)411 (556)∞1e50/15
s-CMA-ES Gissler 3.1 (2)614 (522)5478 (6241)5438 (6493)5430 (5296)5424 (4863)5418 (5902)1/15
sc-CMA-ES Gissler 4.3 (3)484 (601)2576 (2530)2558 (3404)2554 (2324)2552 (2431)2550 (2431)2/15
scd-CMA-ES Gissler 4.1 (4)560 (623)∞∞∞∞∞1e60/15
scdm-CMA-ES Gissler 4.2 (4)542 (874)1393 (2059)1383 (1575)1382 (1890)1381 (1177)1380 (2000)3/15
sd-CMA-ES Gissler 3.0 (2)977 (1252)1406 (2008)1396 (2496)1394 (885)1393 (1356)1392 (1727)3/15
sdm-CMA-ES Gissler 2.5 (1)1230 (1650)∞∞∞∞∞1e60/15

Δ fopt
f4, 10-D		 1e1
2234		 1e0
3626		 1e-1
3660		 1e-2
3695		 1e-3
3707		 1e-5
3744		 1e-7
28767		 #succ
12/15
BIRMIN Kudela 305 (206)∞∞∞∞∞∞5e50/15
DIRECT-REV Kudela 706 (734)∞∞∞∞∞∞5e50/15
E-WOA Espinoza ∞∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 55 (92)1971 (2002)∞∞∞∞∞5e50/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 5.2 (3)∞∞∞∞∞∞1e60/15
ad-CMA-ES Gissler 5.5 (4)∞∞∞∞∞∞1e60/15
adm-CMA-ES Gissler 6.2 (4)∞∞∞∞∞∞2e60/15
c-CMA-ES Gissler 6.2 (4)∞∞∞∞∞∞1e60/15
cd-CMA-ES Gissler 8.0 (4)∞∞∞∞∞∞1e60/15
cdm-CMA-ES Gissler 4.5 (2)∞∞∞∞∞∞1e60/15
cma-bp-bbob Brockhoff 3.5 (3)∞∞∞∞∞∞1e50/15
cma-bt-bbob Brockhoff 7.0 (6)∞∞∞∞∞∞1e50/15
d-CMA-ES Gissler 7.9 (4)∞∞∞∞∞∞1e60/15
default-CMA-ES Gissler 5.0 (5)∞∞∞∞∞∞1e60/15
dm-CMA-ES Gissler 5.0 (5)∞∞∞∞∞∞1e60/15
m-SDWOA Espinoza 48 (27)∞∞∞∞∞∞1e50/15
s-CMA-ES Gissler 4.5 (3)∞∞∞∞∞∞1e60/15
sc-CMA-ES Gissler 5.8 (4)∞∞∞∞∞∞1e60/15
scd-CMA-ES Gissler 6.9 (5)∞∞∞∞∞∞1e60/15
scdm-CMA-ES Gissler 5.4 (5)∞∞∞∞∞∞1e60/15
sd-CMA-ES Gissler 7.3 (4)∞∞∞∞∞∞1e60/15
sdm-CMA-ES Gissler 7.4 (9)∞∞∞∞∞∞2e60/15

Δ fopt
f5, 10-D		 1e1
20		 1e0
20		 1e-1
20		 1e-2
20		 1e-3
20		 1e-5
20		 1e-7
20		 #succ
15/15
BIRMIN Kudela 13 (2)21 (2)25 (2)25 (1)25 (1)26 (1)∞5e50/15
DIRECT-REV Kudela 14 (0)23 (0)26 (0)27 (0)27 (0)27 (0)∞5e50/15
E-WOA Espinoza 85 (54)117 (64)121 (64)122 (64)123 (64)123 (64)123 (64)15/15
I-DBDP-GL Kudela 145 (13)487 (21)1013 (16)1829 (83)2830 (52)5479 (168)8931 (47)15/15
WOA Espinoza 1274 (2505)2527 (3756)2528 (2508)2528 (2504)2528 (3753)2528 (2508)2528 (5002)10/15
a-CMA-ES Gissler 4.8 (1)6.0 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)15/15
ad-CMA-ES Gissler 4.9 (1)6.0 (2)6.3 (2)6.4 (2)6.4 (2)6.4 (2)6.4 (2)15/15
adm-CMA-ES Gissler 5.5 (2)6.6 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)15/15
c-CMA-ES Gissler 4.9 (1)6.2 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)15/15
cd-CMA-ES Gissler 5.6 (2)6.6 (2)6.9 (3)6.9 (3)6.9 (3)6.9 (3)6.9 (3)15/15
cdm-CMA-ES Gissler 5.5 (2)6.2 (2)6.7 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)15/15
cma-bp-bbob Brockhoff 18 (15)43 (27)47 (26)47 (26)47 (26)47 (26)47 (26)15/15
cma-bt-bbob Brockhoff 17 (4)29 (5)38 (7)46 (7)53 (7)68 (6)84 (8)15/15
d-CMA-ES Gissler 4.7 (2)6.0 (1)6.2 (1)6.2 (1)6.2 (1)6.2 (1)6.2 (1)15/15
default-CMA-ES Gissler 5.5 (2)6.9 (2)7.1 (2)7.3 (2)7.3 (2)7.3 (2)7.3 (2)15/15
dm-CMA-ES Gissler 5.2 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)15/15
m-SDWOA Espinoza 205 (45)434 (63)656 (87)891 (90)1099 (121)1526 (120)1940 (112)15/15
s-CMA-ES Gissler 5.2 (2)6.2 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)15/15
sc-CMA-ES Gissler 5.0 (1)6.4 (3)6.8 (2)6.8 (2)6.8 (2)6.8 (2)6.8 (2)15/15
scd-CMA-ES Gissler 5.2 (2)7.1 (2)7.3 (3)7.3 (3)7.3 (3)7.3 (3)7.3 (3)15/15
scdm-CMA-ES Gissler 5.3 (1)7.0 (3)7.4 (2)7.4 (2)7.4 (2)7.4 (2)7.4 (2)15/15
sd-CMA-ES Gissler 4.3 (1)6.0 (2)6.2 (2)6.3 (2)6.3 (2)6.3 (2)6.3 (2)15/15
sdm-CMA-ES Gissler 4.8 (1)6.2 (2)6.4 (2)6.4 (2)6.4 (2)6.4 (2)6.4 (2)15/15

Δ fopt
f6, 10-D		 1e1
412		 1e0
623		 1e-1
826		 1e-2
1039		 1e-3
1292		 1e-5
1841		 1e-7
2370		 #succ
15/15
BIRMIN Kudela 1.1 (0.5)1.2 (0.5)1.3 (0.6)1.4 (0.5)29 (0.6)545 (611)∞5e50/15
DIRECT-REV Kudela 1.3 (0.4)1.4 (0.3)1.4 (0.5)1.6 (0.4)1.7 (0.4)545 (611)∞5e50/15
E-WOA Espinoza 154 (158)537 (525)∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 14 (10)34 (18)49 (16)67 (24)86 (30)106 (27)140 (34)15/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 1.4 (0.4)1.5 (0.4)1.6 (0.2)1.6 (0.3)1.6 (0.3)1.5 (0.2)1.5 (0.1)15/15
ad-CMA-ES Gissler 1.4 (0.3)1.4 (0.3)1.5 (0.3)1.5 (0.3)1.5 (0.2)1.4 (0.1)1.4 (0.1)15/15
adm-CMA-ES Gissler 1.3 (0.4)1.4 (0.3)1.4 (0.3)1.5 (0.3)1.5 (0.3)1.4 (0.2)1.4 (0.1)15/15
c-CMA-ES Gissler 1.8 (0.7)1.8 (0.5)1.9 (0.4)1.9 (0.3)1.8 (0.2)1.7 (0.1)1.7 (0.1)15/15
cd-CMA-ES Gissler 1.8 (0.4)1.8 (0.5)1.8 (0.3)1.8 (0.3)1.8 (0.2)1.7 (0.2)1.7 (0.2)15/15
cdm-CMA-ES Gissler 1.6 (0.3)1.7 (0.3)1.8 (0.2)1.8 (0.2)1.8 (0.2)1.7 (0.2)1.6 (0.2)15/15
cma-bp-bbob Brockhoff 1.4 (0.4)1.6 (0.5)1.7 (0.4)1.7 (0.3)1.7 (0.3)1.6 (0.3)1.6 (0.2)15/15
cma-bt-bbob Brockhoff 1.5 (0.4)1.5 (0.3)1.6 (0.2)1.7 (0.2)1.6 (0.2)1.5 (0.2)1.5 (0.1)15/15
d-CMA-ES Gissler 1.5 (0.4)1.6 (0.4)1.6 (0.3)1.7 (0.3)1.7 (0.3)1.6 (0.2)1.5 (0.2)15/15
default-CMA-ES Gissler 1.6 (0.5)1.7 (0.4)1.7 (0.4)1.7 (0.3)1.7 (0.2)1.6 (0.2)1.5 (0.1)15/15
dm-CMA-ES Gissler 1.5 (0.4)1.6 (0.3)1.6 (0.2)1.7 (0.3)1.7 (0.3)1.6 (0.2)1.5 (0.1)15/15
m-SDWOA Espinoza 14 (2)21 (6)25 (8)30 (12)34 (19)44 (43)55 (56)9/15
s-CMA-ES Gissler 1.3 (0.3)1.6 (0.4)1.6 (0.3)1.6 (0.3)1.6 (0.2)1.5 (0.2)1.6 (0.2)15/15
sc-CMA-ES Gissler 1.6 (0.4)1.7 (0.3)1.8 (0.4)1.8 (0.3)1.7 (0.3)1.6 (0.2)1.6 (0.2)15/15
scd-CMA-ES Gissler 1.6 (0.5)1.8 (0.4)1.8 (0.6)1.8 (0.4)1.8 (0.3)1.7 (0.2)1.7 (0.2)15/15
scdm-CMA-ES Gissler 1.6 (0.5)1.7 (0.4)1.7 (0.3)1.8 (0.2)1.7 (0.2)1.6 (0.2)1.5 (0.2)15/15
sd-CMA-ES Gissler 1.5 (0.4)1.6 (0.2)1.6 (0.3)1.7 (0.2)1.6 (0.3)1.6 (0.1)1.6 (0.2)15/15
sdm-CMA-ES Gissler 1.6 (0.5)1.7 (0.5)1.7 (0.3)1.8 (0.3)1.8 (0.2)1.7 (0.2)1.7 (0.2)15/15

Δ fopt
f7, 10-D		 1e1
172		 1e0
1611		 1e-1
4195		 1e-2
5099		 1e-3
5141		 1e-5
5141		 1e-7
5389		 #succ
15/15
BIRMIN Kudela 7.7 (2)14 (9)45 (42)448 (341)445 (412)445 (411)439 (515)3/15
DIRECT-REV Kudela 6.1 (6)9.2 (10)48 (63)242 (278)316 (230)316 (389)420 (556)3/15
E-WOA Espinoza 290 (321)∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 10 (6)7.2 (5)7.9 (5)13 (9)15 (15)15 (15)15 (15)15/15
WOA Espinoza 3838 (4942)∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 1.5 (0.7)0.97 (1)0.77 (0.5)0.85 (0.4)0.88 (0.4)0.88 (0.4)0.86 (0.3)15/15
ad-CMA-ES Gissler 1.6 (0.6)0.84 (0.5)0.53 (0.5)0.63 (0.3)↑00.64 (0.3)↑00.64 (0.3)↑00.62 (0.3)↑015/15
adm-CMA-ES Gissler 1.6 (0.4)1.2 (1)0.87 (0.4)0.87 (0.3)0.87 (0.3)0.87 (0.3)0.85 (0.3)15/15
c-CMA-ES Gissler 2.2 (1)1.1 (0.8)0.87 (0.4)0.80 (0.3)0.89 (0.3)0.89 (0.3)0.87 (0.3)15/15
cd-CMA-ES Gissler 1.9 (0.9)0.85 (0.6)0.81 (0.4)0.80 (0.3)0.80 (0.3)0.80 (0.3)0.78 (0.3)15/15
cdm-CMA-ES Gissler 1.8 (0.6)0.96 (0.6)0.93 (0.9)0.86 (0.8)0.86 (0.8)0.86 (0.8)0.84 (0.8)15/15
cma-bp-bbob Brockhoff 1.8 (0.8)0.88 (0.6)0.71 (0.4)0.69 (0.3)0.70 (0.3)0.70 (0.3)0.68 (0.3)15/15
cma-bt-bbob Brockhoff 1.8 (0.6)1.4 (0.7)1.3 (1)1.3 (1.0)1.3 (1.0)1.3 (1.0)1.3 (0.9)15/15
d-CMA-ES Gissler 1.6 (0.7)0.70 (0.6)0.65 (0.6)0.66 (0.4)0.70 (0.4)0.70 (0.4)0.69 (0.4)15/15
default-CMA-ES Gissler 1.5 (0.4)0.87 (1)0.80 (0.5)0.79 (0.4)0.79 (0.4)0.79 (0.4)0.79 (0.3)15/15
dm-CMA-ES Gissler 1.9 (0.4)0.83 (0.6)0.77 (0.6)0.73 (0.5)0.73 (0.5)0.73 (0.5)0.77 (0.4)15/15
m-SDWOA Espinoza 12 (3)3.3 (0.9)2.1 (0.3)2.5 (0.4)2.6 (0.4)2.6 (0.4)2.6 (0.4)15/15
s-CMA-ES Gissler 2.0 (0.7)0.99 (0.5)0.76 (0.4)0.79 (0.3)0.80 (0.3)0.80 (0.3)0.77 (0.3)15/15
sc-CMA-ES Gissler 1.8 (0.5)1.3 (1)0.74 (0.4)0.69 (0.4)0.70 (0.3)0.70 (0.3)0.68 (0.3)15/15
scd-CMA-ES Gissler 1.8 (0.9)1.0 (0.5)0.83 (0.3)0.82 (0.3)0.85 (0.3)0.85 (0.3)0.88 (0.3)15/15
scdm-CMA-ES Gissler 1.8 (0.7)0.97 (0.6)0.96 (0.4)0.88 (0.3)0.88 (0.3)0.88 (0.3)0.86 (0.3)15/15
sd-CMA-ES Gissler 2.2 (0.8)0.91 (1)0.81 (0.6)0.74 (0.5)0.75 (0.5)0.75 (0.5)0.74 (0.5)15/15
sdm-CMA-ES Gissler 1.9 (0.8)1.4 (1)0.76 (0.3)0.72 (0.3)0.74 (0.3)0.74 (0.3)0.72 (0.3)15/15

Δ fopt
f8, 10-D		 1e1
326		 1e0
921		 1e-1
1114		 1e-2
1217		 1e-3
1267		 1e-5
1315		 1e-7
1343		 #succ
15/15
BIRMIN Kudela 0.64 (0.3)↑10.69 (0.1)↑10.65 (0.1)↑00.64 (0.1)↑00.63 (0.1)↑00.63 (0.1)↑00.63 (0.1)↑015/15
DIRECT-REV Kudela 0.50 (0.1)↑010 (22)8.1 (18)7.4 (17)7.2 (16)6.9 (16)6.8 (15)15/15
E-WOA Espinoza 88 (63)805 (676)∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 25 (8)86 (23)126 (36)159 (57)190 (62)272 (88)1013 (753)5/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 2.4 (1)5.0 (5)4.8 (5)4.7 (4)4.7 (4)4.8 (4)4.9 (4)15/15
ad-CMA-ES Gissler 2.4 (1)3.8 (1.0)3.8 (0.8)3.8 (0.7)3.8 (0.7)3.9 (0.6)4.1 (0.7)15/15
adm-CMA-ES Gissler 2.3 (0.4)3.9 (1)3.9 (1)3.9 (1.0)3.9 (0.9)4.0 (0.9)4.2 (0.8)15/15
c-CMA-ES Gissler 2.5 (2)5.5 (5)5.6 (4)5.6 (4)5.7 (4)5.9 (4)6.0 (4)15/15
cd-CMA-ES Gissler 2.2 (0.5)4.3 (0.8)4.7 (0.7)4.9 (0.7)5.0 (0.8)5.2 (0.7)5.4 (0.7)15/15
cdm-CMA-ES Gissler 2.4 (0.8)5.4 (4)5.6 (4)5.7 (3)5.9 (3)6.0 (3)6.2 (3)15/15
cma-bp-bbob Brockhoff 2.0 (0.7)3.9 (0.7)3.9 (0.6)3.9 (0.5)4.0 (0.5)4.1 (0.5)4.2 (0.5)15/15
cma-bt-bbob Brockhoff 2.3 (0.8)3.9 (1)3.9 (1)3.9 (1.0)4.0 (0.9)4.1 (0.9)4.2 (0.9)15/15
d-CMA-ES Gissler 2.1 (1)3.7 (0.6)3.8 (0.6)3.8 (0.6)3.8 (0.5)4.0 (0.5)4.1 (0.5)15/15
default-CMA-ES Gissler 1.9 (0.8)3.6 (0.8)3.7 (0.7)3.7 (0.7)3.8 (0.7)3.9 (0.7)4.0 (0.6)15/15
dm-CMA-ES Gissler 2.0 (0.4)4.1 (0.6)4.1 (0.5)4.1 (0.5)4.1 (0.5)4.2 (0.5)4.4 (0.4)15/15
m-SDWOA Espinoza 20 (4)∞∞∞∞∞∞1e50/15
s-CMA-ES Gissler 1.9 (0.4)3.8 (1.0)3.9 (0.9)3.9 (0.9)3.9 (0.9)4.0 (0.9)4.1 (0.8)15/15
sc-CMA-ES Gissler 2.0 (0.6)5.6 (5)5.9 (4)5.9 (4)6.0 (3)6.1 (3)6.2 (3)15/15
scd-CMA-ES Gissler 2.0 (0.4)7.3 (11)7.3 (9)7.2 (8)7.2 (8)7.3 (8)7.4 (8)15/15
scdm-CMA-ES Gissler 2.7 (2)5.4 (3)5.8 (2)5.8 (2)5.9 (2)6.0 (2)6.2 (2)15/15
sd-CMA-ES Gissler 2.6 (2)5.9 (5)5.6 (5)5.4 (4)5.4 (4)5.5 (4)5.7 (4)15/15
sdm-CMA-ES Gissler 2.5 (2)4.9 (4)4.8 (3)4.6 (3)4.6 (3)4.7 (3)4.9 (3)15/15

Δ fopt
f9, 10-D		 1e1
200		 1e0
648		 1e-1
857		 1e-2
993		 1e-3
1065		 1e-5
1138		 1e-7
1185		 #succ
15/15
BIRMIN Kudela 1.2 (0.5)★212 (0.5)10 (0.4)8.3 (0.3)7.8 (0.3)7.3 (0.3)7.0 (0.3)15/15
DIRECT-REV Kudela 1.8 (0.4)0.88 (0.2)0.77 (0.1)↑00.71 (0.1)↑00.68 (0.1)↑00.67 (0.1)↑00.66 (0.1)↑015/15
E-WOA Espinoza 77 (19)∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 77 (42)189 (65)242 (42)304 (60)345 (68)862 (613)2065 (2846)1/15
WOA Espinoza 2037 (1117)∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 2.8 (1)6.7 (5)5.9 (4)5.5 (4)5.3 (3)5.3 (3)5.4 (3)15/15
ad-CMA-ES Gissler 2.7 (0.7)6.2 (5)5.6 (4)5.2 (4)5.1 (3)5.1 (3)5.2 (3)15/15
adm-CMA-ES Gissler 2.6 (0.6)5.4 (1)4.9 (0.7)4.6 (0.6)4.5 (0.6)4.5 (0.6)4.6 (0.5)15/15
c-CMA-ES Gissler 2.5 (0.5)6.4 (2)6.4 (1)6.2 (1)6.1 (1)6.2 (1)6.3 (1)15/15
cd-CMA-ES Gissler 3.1 (0.5)6.2 (1)6.2 (0.9)6.1 (0.9)6.0 (0.9)6.1 (0.9)6.1 (0.8)15/15
cdm-CMA-ES Gissler 3.4 (1.0)6.9 (1)6.7 (1)6.5 (1)6.4 (1.0)6.4 (0.9)6.4 (0.9)15/15
cma-bp-bbob Brockhoff 2.9 (1)5.4 (2)5.1 (1)4.7 (1)4.6 (0.9)4.7 (0.9)4.8 (0.8)15/15
cma-bt-bbob Brockhoff 2.9 (0.5)5.4 (0.9)5.0 (0.7)4.7 (0.6)4.6 (0.5)4.6 (0.5)4.7 (0.5)15/15
d-CMA-ES Gissler 2.7 (0.7)4.4 (0.9)4.3 (0.8)4.1 (0.8)4.0 (0.7)4.1 (0.6)4.2 (0.6)15/15
default-CMA-ES Gissler 3.4 (3)4.8 (1)4.5 (0.8)4.3 (0.7)4.2 (0.6)4.2 (0.6)4.3 (0.6)15/15
dm-CMA-ES Gissler 3.2 (0.4)5.7 (2)5.3 (2)5.0 (1)4.9 (1)4.9 (1)5.0 (1)15/15
m-SDWOA Espinoza 22 (3)∞∞∞∞∞∞1e50/15
s-CMA-ES Gissler 2.6 (0.7)4.9 (1.0)4.7 (1.0)4.4 (0.9)4.3 (0.8)4.3 (0.8)4.4 (0.7)15/15
sc-CMA-ES Gissler 2.9 (0.8)8.1 (7)7.7 (5)7.3 (4)7.1 (4)7.0 (4)7.1 (4)15/15
scd-CMA-ES Gissler 2.9 (0.5)7.9 (2)7.5 (2)7.2 (1)7.1 (1)7.0 (1)7.0 (1)15/15
scdm-CMA-ES Gissler 3.1 (0.8)8.2 (7)7.7 (5)7.3 (5)7.2 (5)7.1 (4)7.1 (4)15/15
sd-CMA-ES Gissler 2.7 (0.5)6.2 (2)5.6 (2)5.2 (1)5.0 (1)5.0 (1)5.1 (1)15/15
sdm-CMA-ES Gissler 3.1 (1)4.8 (1)4.5 (1)4.2 (0.9)4.1 (0.9)4.2 (0.8)4.3 (0.7)15/15

Δ fopt
f10, 10-D		 1e1
1835		 1e0
2172		 1e-1
2455		 1e-2
2728		 1e-3
2802		 1e-5
4543		 1e-7
4739		 #succ
15/15
BIRMIN Kudela 0.21 (0.1)↑00.24 (0.1)↑00.25 (0.1)↑00.26 (0.1)↑00.29 (0.1)↑0220 (550)∞5e50/15
DIRECT-REV Kudela 0.23 (0.2)↑00.26 (0.2)↑00.27 (0.1)↑00.26 (0.1)↑013 (0.2)96 (138)∞5e50/15
E-WOA Espinoza ∞∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 1242 (1785)3314 (3396)∞∞∞∞∞5e50/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 1.2 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.1)1.2 (0.1)0.80 (0.1)↑00.83 (0.1)↑015/15
ad-CMA-ES Gissler 1.3 (0.3)1.3 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.1)0.82 (0.1)↑00.85 (0.1)↑015/15
adm-CMA-ES Gissler 1.3 (0.4)1.4 (0.2)1.3 (0.2)1.2 (0.1)1.2 (0.1)0.84 (0.1)↑00.87 (0.1)↑015/15
c-CMA-ES Gissler 1.6 (0.3)1.5 (0.3)1.5 (0.2)1.4 (0.2)1.4 (0.2)0.95 (0.1)0.98 (0.1)15/15
cd-CMA-ES Gissler 1.4 (0.2)1.4 (0.2)1.4 (0.2)1.4 (0.1)1.4 (0.1)0.95 (0.1)0.98 (0.1)15/15
cdm-CMA-ES Gissler 1.5 (0.3)1.5 (0.3)1.5 (0.2)1.4 (0.1)1.5 (0.1)0.99 (0.1)1.0 (0.1)15/15
cma-bp-bbob Brockhoff 1.2 (0.2)1.3 (0.1)1.3 (0.2)1.2 (0.2)1.2 (0.1)0.84 (0.1)↑10.87 (0.1)15/15
cma-bt-bbob Brockhoff 2.0 (1.0)2.0 (1)1.9 (0.9)1.8 (0.8)1.8 (0.8)1.2 (0.5)1.2 (0.5)15/15
d-CMA-ES Gissler 1.3 (0.2)1.3 (0.2)1.2 (0.1)1.2 (0.1)1.2 (0.1)0.83 (0.1)↑00.86 (0.1)↑015/15
default-CMA-ES Gissler 1.2 (0.2)1.3 (0.2)1.3 (0.1)1.2 (0.1)1.2 (0.1)0.81 (0.1)↑00.84 (0.1)↑015/15
dm-CMA-ES Gissler 1.3 (0.3)1.3 (0.2)1.2 (0.1)1.2 (0.1)1.2 (0.1)0.82 (0.1)↑00.86 (0.1)↑015/15
m-SDWOA Espinoza 10 (3)23 (23)27 (41)32 (38)34 (36)32 (44)39 (58)6/15
s-CMA-ES Gissler 1.3 (0.3)1.3 (0.3)1.3 (0.2)1.3 (0.1)1.3 (0.1)0.89 (0.1)↑10.91 (0.1)↑115/15
sc-CMA-ES Gissler 1.7 (0.4)1.7 (0.3)1.6 (0.3)1.6 (0.2)1.6 (0.2)1.1 (0.1)1.1 (0.1)15/15
scd-CMA-ES Gissler 2.0 (0.5)1.9 (0.4)1.9 (0.3)1.7 (0.2)1.8 (0.2)1.2 (0.1)1.2 (0.1)15/15
scdm-CMA-ES Gissler 1.7 (0.6)1.8 (0.4)1.8 (0.3)1.7 (0.2)1.7 (0.2)1.1 (0.1)1.1 (0.1)15/15
sd-CMA-ES Gissler 1.2 (0.3)1.3 (0.3)1.3 (0.2)1.2 (0.1)1.3 (0.1)0.86 (0.1)↑00.90 (0.1)↑115/15
sdm-CMA-ES Gissler 1.3 (0.3)1.4 (0.2)1.4 (0.1)1.3 (0.1)1.3 (0.1)0.91 (0.1)↑00.94 (0.1)15/15

Δ fopt
f11, 10-D		 1e1
266		 1e0
1041		 1e-1
2602		 1e-2
2954		 1e-3
3338		 1e-5
4092		 1e-7
4843		 #succ
15/15
BIRMIN Kudela 0.51 (0.1)↑00.22 (0.1)↑00.12 (0.0)↑00.13 (0.0)↑038 (75)794 (1283)∞5e50/15
DIRECT-REV Kudela 0.54 (0.1)↑00.22 (0.1)↑00.11 (0.0)↑00.13 (0.0)↑011 (0.2)1711 (2688)∞5e50/15
E-WOA Espinoza 1724 (1606)∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 149 (85)112 (89)75 (37)100 (35)165 (129)907 (793)∞5e50/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 5.3 (0.4)1.6 (0.2)0.73 (0.1)↑00.70 (0.1)↑00.67 (0.1)↑00.62 (0.1)↑00.59 (0.1)↑015/15
ad-CMA-ES Gissler 5.6 (0.6)1.7 (0.2)0.78 (0.1)↑00.75 (0.1)↑00.71 (0.0)↑00.66 (0.0)↑00.62 (0.0)↑015/15
adm-CMA-ES Gissler 5.1 (0.6)1.6 (0.1)0.72 (0.1)↑00.70 (0.1)↑00.67 (0.0)↑00.63 (0.0)↑00.59 (0.0)↑015/15
c-CMA-ES Gissler 5.8 (1)1.7 (0.2)0.77 (0.1)↑00.74 (0.1)↑00.71 (0.1)↑00.66 (0.1)↑00.62 (0.0)↑015/15
cd-CMA-ES Gissler 5.8 (0.8)1.7 (0.2)0.78 (0.1)↑00.76 (0.1)↑00.73 (0.1)↑00.69 (0.1)↑00.65 (0.1)↑015/15
cdm-CMA-ES Gissler 5.7 (0.6)1.7 (0.2)0.76 (0.1)↑00.73 (0.0)↑00.71 (0.0)↑00.66 (0.0)↑00.63 (0.0)↑015/15
cma-bp-bbob Brockhoff 5.5 (1)1.7 (0.2)0.77 (0.1)↑10.74 (0.1)↑00.70 (0.0)↑00.65 (0.1)↑00.62 (0.0)↑015/15
cma-bt-bbob Brockhoff 12 (8)3.8 (3)1.7 (1)1.6 (1.0)1.4 (0.9)1.2 (0.7)1.1 (0.6)15/15
d-CMA-ES Gissler 5.5 (0.9)1.7 (0.2)0.74 (0.1)↑00.72 (0.1)↑00.69 (0.1)↑00.65 (0.0)↑00.62 (0.0)↑015/15
default-CMA-ES Gissler 5.5 (0.7)1.7 (0.2)0.74 (0.1)↑00.72 (0.1)↑00.69 (0.1)↑00.64 (0.0)↑00.60 (0.0)↑015/15
dm-CMA-ES Gissler 5.4 (0.8)1.6 (0.2)0.73 (0.0)↑00.70 (0.0)↑00.68 (0.0)↑00.64 (0.0)↑00.61 (0.0)↑015/15
m-SDWOA Espinoza 18 (3)19 (31)11 (20)59 (51)88 (98)165 (177)295 (227)1/15
s-CMA-ES Gissler 5.7 (0.7)1.7 (0.3)0.79 (0.1)↑10.76 (0.1)↑10.72 (0.1)↑00.67 (0.1)↑00.63 (0.1)↑015/15
sc-CMA-ES Gissler 5.9 (1.0)1.8 (0.2)0.78 (0.1)↑00.75 (0.1)↑00.72 (0.1)↑00.67 (0.1)↑00.64 (0.1)↑015/15
scd-CMA-ES Gissler 5.6 (0.7)1.7 (0.2)0.78 (0.1)↑00.75 (0.1)↑00.72 (0.1)↑00.69 (0.1)↑00.65 (0.1)↑015/15
scdm-CMA-ES Gissler 5.8 (0.9)1.8 (0.3)0.78 (0.1)↑10.75 (0.1)↑00.72 (0.1)↑00.67 (0.1)↑00.64 (0.1)↑015/15
sd-CMA-ES Gissler 5.6 (0.9)1.8 (0.3)0.81 (0.2)0.77 (0.2)0.74 (0.2)↑00.68 (0.1)↑00.65 (0.1)↑015/15
sdm-CMA-ES Gissler 5.6 (1.0)1.7 (0.2)0.76 (0.1)↑00.73 (0.1)↑00.70 (0.1)↑00.65 (0.1)↑00.62 (0.1)↑015/15

Δ fopt
f12, 10-D		 1e1
515		 1e0
896		 1e-1
1240		 1e-2
1390		 1e-3
1569		 1e-5
3660		 1e-7
5154		 #succ
15/15
BIRMIN Kudela 0.46 (0.1)↑00.50 (0.3)↑10.53 (0.4)↑10.60 (0.3)↑10.62 (0.3)↑1120 (137)388 (558)3/15
DIRECT-REV Kudela 0.76 (0.4)0.83 (0.5)0.84 (0.5)0.84 (0.5)0.83 (0.4)92 (137)194 (267)5/15
E-WOA Espinoza 193 (144)494 (397)1205 (1532)∞∞∞∞1e50/15
I-DBDP-GL Kudela 55 (8)57 (26)118 (80)385 (386)800 (1000)2009 (1401)∞5e50/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 3.7 (4)4.8 (4)5.0 (3)5.1 (2)4.9 (2)2.6 (0.8)2.0 (0.6)15/15
ad-CMA-ES Gissler 4.9 (5)4.7 (5)4.8 (5)5.0 (5)4.9 (4)2.6 (2)2.1 (1.0)15/15
adm-CMA-ES Gissler 2.4 (0.2)3.1 (2)3.8 (2)4.1 (2)4.3 (2)2.3 (0.7)1.9 (0.5)15/15
c-CMA-ES Gissler 4.1 (5)5.7 (6)6.8 (4)7.3 (4)7.4 (3)4.1 (1)3.3 (1)15/15
cd-CMA-ES Gissler 5.1 (7)5.6 (7)6.7 (6)7.3 (5)7.3 (4)4.0 (2)3.3 (1)15/15
cdm-CMA-ES Gissler 4.3 (5)5.2 (7)6.1 (6)7.1 (4)7.2 (4)4.1 (1)3.4 (0.9)15/15
cma-bp-bbob Brockhoff 2.7 (1)3.5 (3)3.8 (3)4.1 (2)4.3 (2)2.3 (1)1.9 (0.9)15/15
cma-bt-bbob Brockhoff 3.5 (2)4.2 (4)4.1 (3)4.0 (3)4.1 (3)2.2 (1)1.8 (1.0)15/15
d-CMA-ES Gissler 3.4 (3)5.0 (3)5.0 (3)5.1 (3)5.0 (2)2.7 (1)2.1 (0.9)15/15
default-CMA-ES Gissler 4.9 (4)5.1 (4)5.0 (4)5.2 (4)5.2 (3)2.8 (1)2.2 (1.0)15/15
dm-CMA-ES Gissler 3.9 (3)4.0 (4)4.5 (3)4.7 (3)4.7 (3)2.5 (1)2.1 (0.8)15/15
m-SDWOA Espinoza 42 (3)48 (57)140 (182)1032 (990)∞∞∞1e50/15
s-CMA-ES Gissler 3.2 (4)3.4 (4)3.8 (4)4.2 (3)4.2 (2)2.3 (0.9)1.9 (0.6)15/15
sc-CMA-ES Gissler 4.6 (7)6.6 (7)7.6 (7)8.2 (7)8.2 (5)4.6 (2)3.8 (2)15/15
scd-CMA-ES Gissler 3.8 (5)4.1 (6)5.6 (6)6.3 (5)6.4 (4)3.6 (2)3.0 (1)15/15
scdm-CMA-ES Gissler 4.3 (5)6.2 (8)6.7 (8)7.4 (8)7.5 (7)4.1 (3)3.4 (3)15/15
sd-CMA-ES Gissler 3.7 (2)4.3 (3)4.4 (3)4.6 (2)4.6 (2)2.4 (1)2.0 (0.8)15/15
sdm-CMA-ES Gissler 2.4 (0.3)3.1 (2)3.6 (2)3.8 (2)4.0 (2)2.2 (1.0)1.8 (0.7)15/15

Δ fopt
f13, 10-D		 1e1
387		 1e0
596		 1e-1
797		 1e-2
1014		 1e-3
4587		 1e-5
6208		 1e-7
7779		 #succ
15/15
BIRMIN Kudela 0.61 (0.3)12 (0.2)24 (0.1)180 (247)96 (109)∞∞5e50/15
DIRECT-REV Kudela 0.61 (0.3)↑00.73 (0.2)↑00.73 (0.3)0.71 (0.3)96 (82)1128 (1289)∞5e50/15
E-WOA Espinoza 172 (141)1221 (1636)∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 38 (13)78 (45)134 (100)290 (263)130 (180)1175 (1290)∞5e50/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 2.5 (2)2.7 (2)3.9 (2)4.6 (2)1.2 (0.5)1.1 (0.3)1.2 (0.6)15/15
ad-CMA-ES Gissler 1.9 (0.4)2.9 (1)3.5 (2)4.3 (2)1.0 (0.5)0.99 (0.4)1.1 (0.6)15/15
adm-CMA-ES Gissler 2.8 (2)3.2 (2)3.8 (1)3.5 (1)0.90 (0.3)0.89 (0.2)1.2 (0.6)15/15
c-CMA-ES Gissler 2.0 (0.3)4.5 (3)6.1 (1.0)5.4 (0.8)1.3 (0.3)1.5 (0.3)1.5 (0.4)15/15
cd-CMA-ES Gissler 2.4 (0.7)5.3 (2)4.9 (0.4)4.4 (0.6)1.2 (0.3)1.3 (0.2)1.4 (0.5)15/15
cdm-CMA-ES Gissler 2.9 (3)3.5 (2)4.1 (2)5.3 (1)1.5 (0.3)1.4 (0.3)1.5 (0.2)15/15
cma-bp-bbob Brockhoff 2.4 (1)3.1 (1)3.1 (1)3.5 (2)0.94 (0.3)0.98 (0.3)0.95 (0.3)15/15
cma-bt-bbob Brockhoff 2.9 (2)3.4 (2)3.8 (1)3.5 (1.0)0.91 (0.2)1.0 (0.2)0.98 (0.2)15/15
d-CMA-ES Gissler 2.2 (1)3.0 (2)3.5 (1)3.3 (0.8)0.90 (0.2)0.93 (0.2)0.91 (0.2)15/15
default-CMA-ES Gissler 2.5 (2)3.3 (1)3.4 (1)3.3 (1.0)0.86 (0.2)0.84 (0.1)↑10.92 (0.2)15/15
dm-CMA-ES Gissler 1.9 (0.3)2.7 (1)3.9 (1)3.6 (0.8)0.88 (0.1)0.90 (0.2)0.94 (0.2)15/15
m-SDWOA Espinoza 20 (1)21 (2)23 (3)27 (13)12 (11)25 (28)58 (48)1/15
s-CMA-ES Gissler 2.6 (2)3.6 (2)4.2 (2)4.1 (2)1.1 (0.5)1.2 (0.5)1.2 (0.5)15/15
sc-CMA-ES Gissler 2.2 (0.4)4.4 (4)5.7 (3)5.8 (2)1.6 (0.4)1.6 (0.4)1.5 (0.2)15/15
scd-CMA-ES Gissler 3.0 (3)5.4 (4)6.4 (2)5.7 (1)1.5 (0.4)1.5 (0.2)1.5 (0.5)15/15
scdm-CMA-ES Gissler 3.8 (3)5.6 (3)5.4 (2)5.0 (2)1.3 (0.4)1.5 (0.5)1.4 (0.5)15/15
sd-CMA-ES Gissler 2.5 (2)3.1 (2)3.7 (2)4.0 (2)1.1 (0.5)1.0 (0.4)1.0 (0.4)15/15
sdm-CMA-ES Gissler 2.2 (2)3.2 (2)3.7 (2)3.5 (2)1.0 (0.6)1.1 (0.4)1.2 (0.5)15/15

Δ fopt
f14, 10-D		 1e1
37		 1e0
98		 1e-1
133		 1e-2
205		 1e-3
392		 1e-5
687		 1e-7
4305		 #succ
15/15
BIRMIN Kudela 1.7 (2)2.5 (0.9)3.0 (0.7)3.0 (0.6)2.0 (0.4)1.6 (0.3)∞5e50/15
DIRECT-REV Kudela 2.0 (1)3.0 (1)3.1 (1)2.8 (0.5)2.0 (0.3)1.6 (0.3)∞5e50/15
E-WOA Espinoza 12 (12)50 (18)89 (22)233 (250)692 (549)∞∞1e50/15
I-DBDP-GL Kudela 2.0 (3)14 (7)30 (8)62 (18)102 (43)2503 (1682)∞5e50/15
WOA Espinoza 7.1 (10)623 (1276)∞∞∞∞∞1e50/15
a-CMA-ES Gissler 1.2 (0.8)2.4 (0.7)3.1 (0.7)3.3 (0.5)2.8 (0.6)3.0 (0.4)0.73 (0.1)↑015/15
ad-CMA-ES Gissler 1.3 (1)2.5 (0.7)3.4 (0.6)3.6 (0.5)2.9 (0.4)3.2 (0.2)0.75 (0.1)↑015/15
adm-CMA-ES Gissler 1.1 (1)2.4 (0.5)3.2 (0.4)3.5 (0.3)2.8 (0.3)3.0 (0.2)0.73 (0.1)↑015/15
c-CMA-ES Gissler 1.5 (1)2.8 (0.7)3.5 (0.6)3.7 (0.4)3.2 (0.5)3.7 (0.4)0.92 (0.1)↑115/15
cd-CMA-ES Gissler 1.5 (1)2.6 (0.7)3.6 (0.5)3.8 (0.5)3.2 (0.3)3.7 (0.2)0.90 (0.1)↑115/15
cdm-CMA-ES Gissler 1.3 (1)2.6 (0.6)3.9 (0.6)4.1 (0.4)3.3 (0.3)3.8 (0.3)0.93 (0.1)15/15
cma-bp-bbob Brockhoff 0.93 (0.9)2.5 (0.5)3.4 (0.4)3.6 (0.5)3.0 (0.3)3.1 (0.2)0.76 (0.0)↑015/15
cma-bt-bbob Brockhoff 1.2 (0.9)2.8 (0.8)3.7 (0.9)3.6 (0.8)3.0 (0.5)3.2 (0.2)0.79 (0.1)↑015/15
d-CMA-ES Gissler 1.0 (0.7)2.7 (0.4)3.7 (0.4)3.9 (0.4)3.2 (0.3)3.3 (0.3)0.78 (0.1)↑015/15
default-CMA-ES Gissler 1.2 (1)2.3 (0.6)3.3 (0.8)3.6 (0.6)2.8 (0.4)3.1 (0.3)0.73 (0.1)↑015/15
dm-CMA-ES Gissler 1.0 (1)2.6 (0.7)3.8 (0.9)3.9 (0.4)3.1 (0.4)3.3 (0.2)0.78 (0.1)↑015/15
m-SDWOA Espinoza 7.5 (5)22 (6)34 (4)34 (3)25 (2)24 (1)7.3 (0.8)10/15
s-CMA-ES Gissler 1.6 (2)2.7 (0.9)3.3 (1.0)3.7 (1.0)3.1 (0.4)3.2 (0.4)0.79 (0.1)↑015/15
sc-CMA-ES Gissler 1.1 (1)2.4 (0.8)3.4 (0.8)3.7 (0.8)3.1 (0.4)3.6 (0.3)0.94 (0.1)15/15
scd-CMA-ES Gissler 1.3 (1.0)2.7 (1)3.5 (1)3.8 (1)3.3 (0.8)3.7 (0.4)0.92 (0.1)15/15
scdm-CMA-ES Gissler 1.6 (1)2.9 (0.6)4.0 (1)4.1 (0.7)3.4 (0.6)3.7 (0.5)0.92 (0.1)15/15
sd-CMA-ES Gissler 1.3 (2)2.4 (0.7)3.4 (0.9)3.8 (0.8)3.0 (0.5)3.2 (0.2)0.79 (0.1)↑115/15
sdm-CMA-ES Gissler 0.95 (0.8)2.4 (1.0)3.6 (1)3.8 (0.6)3.1 (0.4)3.2 (0.4)0.78 (0.1)↑015/15

Δ fopt
f15, 10-D		 1e1
4774		 1e0
39246		 1e-1
73643		 1e-2
74669		 1e-3
75790		 1e-5
77814		 1e-7
79834		 #succ
12/15
BIRMIN Kudela 205 (210)∞∞∞∞∞∞5e50/15
DIRECT-REV Kudela 85 (138)∞∞∞∞∞∞5e50/15
E-WOA Espinoza 302 (189)∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 5.5 (6)20 (18)101 (117)100 (101)99 (102)∞∞5e50/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 0.61 (0.4)↑10.99 (0.6)0.90 (0.7)0.91 (0.7)0.91 (0.7)0.93 (0.7)0.94 (0.7)15/15
ad-CMA-ES Gissler 1.1 (1.0)1.00 (0.6)0.84 (0.6)0.84 (0.6)0.85 (0.6)0.86 (0.6)0.87 (0.6)15/15
adm-CMA-ES Gissler 0.90 (0.5)0.69 (0.4)0.70 (0.3)↑00.70 (0.3)↑00.71 (0.3)↑10.72 (0.3)0.73 (0.3)15/15
c-CMA-ES Gissler 0.89 (0.5)1.1 (0.6)0.93 (0.5)0.94 (0.5)0.94 (0.5)0.95 (0.5)0.96 (0.5)15/15
cd-CMA-ES Gissler 0.86 (0.5)1.2 (0.7)0.90 (0.3)0.91 (0.3)0.91 (0.3)0.92 (0.3)0.93 (0.3)15/15
cdm-CMA-ES Gissler 0.90 (0.6)1.1 (0.3)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
cma-bp-bbob Brockhoff 1.2 (0.6)0.98 (0.3)0.91 (0.8)0.91 (0.8)0.91 (0.7)0.92 (0.7)0.92 (0.7)13/15
cma-bt-bbob Brockhoff 1.2 (1)2.5 (2)3.7 (3)3.7 (3)3.6 (4)3.6 (5)4.4 (3)4/15
d-CMA-ES Gissler 1.0 (0.6)1.1 (0.7)0.95 (0.7)0.96 (0.7)0.96 (0.7)0.97 (0.7)0.98 (0.7)15/15
default-CMA-ES Gissler 1.0 (0.7)1.2 (0.6)0.95 (0.7)0.96 (0.7)0.96 (0.7)0.97 (0.7)0.98 (0.7)15/15
dm-CMA-ES Gissler 0.78 (0.5)1.1 (0.8)0.76 (0.4)0.77 (0.4)0.77 (0.4)0.78 (0.4)0.79 (0.4)15/15
m-SDWOA Espinoza 30 (21)∞∞∞∞∞∞1e50/15
s-CMA-ES Gissler 0.97 (0.6)0.96 (0.3)0.76 (0.2)0.76 (0.2)0.76 (0.2)0.77 (0.2)0.78 (0.2)15/15
sc-CMA-ES Gissler 1.3 (1)0.88 (0.3)0.77 (0.4)0.77 (0.4)0.78 (0.4)0.79 (0.4)0.80 (0.4)15/15
scd-CMA-ES Gissler 1.3 (1)1.0 (0.7)0.81 (0.4)0.82 (0.4)0.82 (0.4)0.84 (0.4)0.85 (0.4)15/15
scdm-CMA-ES Gissler 1.5 (1)1.2 (0.7)0.82 (0.4)0.83 (0.4)0.83 (0.4)0.84 (0.4)0.85 (0.4)15/15
sd-CMA-ES Gissler 0.92 (0.6)1.1 (0.4)0.89 (0.3)0.90 (0.3)0.91 (0.3)0.92 (0.3)0.93 (0.2)15/15
sdm-CMA-ES Gissler 1.4 (1)1.0 (0.8)0.79 (0.4)0.80 (0.4)0.80 (0.4)0.81 (0.5)0.82 (0.5)15/15

Δ fopt
f16, 10-D		 1e1
425		 1e0
7029		 1e-1
15779		 1e-2
45669		 1e-3
51151		 1e-5
65798		 1e-7
71570		 #succ
15/15
BIRMIN Kudela 5.2 (5)14 (14)19 (17)16 (17)∞∞∞5e50/15
DIRECT-REV Kudela 5.2 (2)2.6 (2)4.2 (2)20 (21)144 (142)∞∞5e50/15
E-WOA Espinoza 29 (50)∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 5.2 (2)1.7 (2)3.1 (3)3.6 (2)4.1 (2)5.8 (5)6.8 (5)10/15
WOA Espinoza 53 (118)∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 3.0 (5)0.71 (0.5)0.79 (0.3)↑10.51 (0.5)0.56 (0.4)↑10.46 (0.3)↑00.44 (0.3)↑015/15
ad-CMA-ES Gissler 1.5 (0.6)0.53 (0.4)↑10.85 (0.7)0.37 (0.3)↑00.56 (0.5)0.46 (0.4)↑10.44 (0.4)↑115/15
adm-CMA-ES Gissler 2.4 (0.7)0.67 (0.9)0.73 (0.8)0.46 (0.5)0.45 (0.4)0.38 (0.3)↑00.36 (0.3)↑015/15
c-CMA-ES Gissler 3.2 (1)0.91 (1)1.0 (0.4)1.0 (1)1.1 (1)0.94 (0.8)0.89 (0.8)15/15
cd-CMA-ES Gissler 4.7 (7)0.90 (0.5)1.0 (0.8)0.57 (0.6)0.55 (0.6)0.60 (0.4)0.58 (0.4)15/15
cdm-CMA-ES Gissler 2.6 (1)0.86 (0.5)0.95 (0.8)0.52 (0.3)↑10.55 (0.5)0.47 (0.4)↑00.45 (0.4)↑015/15
cma-bp-bbob Brockhoff 1.9 (0.9)0.48 (0.5)1.1 (1)0.72 (0.5)0.84 (0.5)0.72 (0.4)0.68 (0.4)14/15
cma-bt-bbob Brockhoff 3.7 (3)0.52 (0.7)1.1 (1)1.4 (1)1.7 (2)1.4 (2)1.3 (1)10/15
d-CMA-ES Gissler 2.1 (0.9)0.90 (0.5)1.2 (0.9)0.97 (1)1.1 (0.9)0.87 (0.8)0.83 (0.7)15/15
default-CMA-ES Gissler 2.4 (0.9)0.77 (0.9)0.83 (1)0.78 (0.6)0.86 (1.0)0.76 (0.8)0.72 (0.7)15/15
dm-CMA-ES Gissler 2.5 (2)0.64 (0.5)0.91 (0.7)0.78 (0.9)0.86 (0.8)0.69 (0.7)0.66 (0.6)15/15
m-SDWOA Espinoza 20 (14)213 (235)∞∞∞∞∞1e50/15
s-CMA-ES Gissler 2.7 (2)0.71 (0.5)1.2 (0.8)0.78 (0.5)0.72 (0.4)0.74 (0.7)0.70 (0.6)15/15
sc-CMA-ES Gissler 3.1 (2)0.93 (0.5)1.5 (0.8)0.93 (1.0)0.85 (0.9)0.71 (0.7)0.68 (0.7)15/15
scd-CMA-ES Gissler 3.9 (2)0.99 (1)1.2 (1.0)0.88 (0.6)0.81 (0.5)0.66 (0.4)0.63 (0.4)15/15
scdm-CMA-ES Gissler 3.0 (1)1.0 (0.9)1.5 (0.9)0.61 (0.4)0.72 (0.5)0.67 (0.4)0.64 (0.4)↑115/15
sd-CMA-ES Gissler 4.0 (6)0.91 (1)0.95 (1)0.79 (0.5)0.79 (0.5)0.65 (0.4)0.66 (0.4)15/15
sdm-CMA-ES Gissler 2.7 (1)0.90 (0.5)0.79 (0.6)0.68 (0.5)0.73 (0.4)0.61 (0.3)↑10.58 (0.3)↑115/15

Δ fopt
f17, 10-D		 1e1
26		 1e0
429		 1e-1
2203		 1e-2
6329		 1e-3
9851		 1e-5
20190		 1e-7
26503		 #succ
15/15
BIRMIN Kudela 1.6 (1)12 (6)25 (30)126 (100)∞∞∞5e50/15
DIRECT-REV Kudela 5.4 (10)8.6 (3)8.2 (4)73 (81)∞∞∞5e50/15
E-WOA Espinoza 3.6 (5)1554 (2081)∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 0.93 (0.7)8.7 (4)8.5 (5)11 (7)16 (10)41 (44)∞5e50/15
WOA Espinoza 2.9 (4)∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 0.61 (0.6)0.78 (0.2)↑10.87 (1)1.1 (1)1.3 (0.5)0.88 (0.6)1.1 (0.4)15/15
ad-CMA-ES Gissler 0.65 (0.8)0.96 (0.4)1.0 (2)0.91 (0.6)0.98 (0.8)0.84 (0.3)1.1 (0.4)15/15
adm-CMA-ES Gissler 0.79 (0.8)0.91 (0.2)0.82 (1)1.1 (1)1.1 (0.8)1.1 (0.7)1.2 (0.4)15/15
c-CMA-ES Gissler 0.55 (0.7)0.89 (0.2)0.42 (0.1)↑01.0 (1)1.1 (0.9)1.3 (1)1.3 (0.6)15/15
cd-CMA-ES Gissler 0.54 (0.8)1.1 (0.4)1.7 (2)1.5 (1)1.2 (0.5)0.99 (0.4)1.1 (0.4)15/15
cdm-CMA-ES Gissler 0.79 (1)1.1 (0.5)1.4 (3)1.1 (1)1.2 (0.7)1.1 (0.6)1.5 (0.5)15/15
cma-bp-bbob Brockhoff 0.74 (0.7)1.0 (0.4)0.46 (0.2)↑01.1 (0.7)1.1 (0.9)1.1 (0.5)1.1 (0.4)15/15
cma-bt-bbob Brockhoff 0.77 (0.6)1.1 (0.2)0.46 (0.1)↑01.2 (2)1.5 (1)1.3 (0.9)1.2 (0.5)15/15
d-CMA-ES Gissler 0.43 (0.5)↑11.1 (0.4)0.63 (0.1)↑10.44 (0.6)0.93 (0.9)0.92 (0.3)1.1 (0.7)15/15
default-CMA-ES Gissler 0.94 (1)0.92 (0.3)0.90 (2)1.1 (1)1.3 (0.7)0.88 (0.3)0.91 (0.3)15/15
dm-CMA-ES Gissler 0.67 (1.0)0.91 (0.2)0.49 (0.3)↑00.70 (0.6)0.96 (0.9)0.94 (0.4)1.4 (0.8)15/15
m-SDWOA Espinoza 3.2 (3)10 (2)5.2 (0.3)3.2 (0.2)3.0 (0.2)2.4 (0.1)2.8 (0.1)14/15
s-CMA-ES Gissler 0.79 (1)0.98 (0.5)0.81 (1)0.57 (0.5)0.80 (0.4)0.94 (0.2)0.93 (0.5)15/15
sc-CMA-ES Gissler 0.57 (1.0)1.2 (0.4)1.1 (2)1.5 (1)1.4 (0.7)1.1 (0.5)1.1 (0.4)15/15
scd-CMA-ES Gissler 0.54 (0.7)1.0 (0.3)1.1 (2)0.85 (0.8)0.97 (0.6)0.97 (0.5)1.2 (0.7)15/15
scdm-CMA-ES Gissler 1.00 (1)2.1 (0.8)0.91 (2)0.84 (0.7)0.87 (0.5)1.0 (0.4)1.2 (0.7)15/15
sd-CMA-ES Gissler 0.52 (0.6)0.76 (0.2)↑10.41 (0.1)↑00.51 (0.6)0.86 (0.8)1.1 (0.8)1.1 (0.4)15/15
sdm-CMA-ES Gissler 0.58 (0.6)1.1 (0.4)0.80 (1)0.88 (0.6)1.0 (0.9)1.1 (0.7)1.5 (0.5)15/15

Δ fopt
f18, 10-D		 1e1
238		 1e0
836		 1e-1
7012		 1e-2
15928		 1e-3
27536		 1e-5
37234		 1e-7
42708		 #succ
15/15
BIRMIN Kudela 6.3 (6)24 (20)36 (40)218 (298)∞∞∞5e50/15
DIRECT-REV Kudela 5.8 (5)13 (5)6.8 (4)66 (63)∞∞∞5e50/15
E-WOA Espinoza 169 (215)∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 4.5 (3)15 (6)10 (8)18 (18)39 (26)∞∞5e50/15
WOA Espinoza 394 (840)∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 0.87 (0.3)1.4 (0.2)0.69 (0.5)0.78 (0.3)0.65 (0.4)0.75 (0.2)↑00.76 (0.2)↑015/15
ad-CMA-ES Gissler 0.75 (0.3)0.79 (0.2)↑10.54 (0.7)1.0 (1.0)0.83 (0.3)0.86 (0.3)0.95 (0.3)15/15
adm-CMA-ES Gissler 0.95 (0.4)2.2 (0.6)0.99 (1)0.99 (0.7)0.95 (0.4)0.93 (0.3)0.90 (0.2)↑115/15
c-CMA-ES Gissler 0.89 (0.4)3.5 (0.3)1.3 (2)1.3 (0.8)1.1 (0.6)0.98 (0.6)0.98 (0.5)15/15
cd-CMA-ES Gissler 0.79 (0.3)1.0 (0.4)0.99 (1)0.74 (0.7)0.65 (0.3)↑10.80 (0.4)0.86 (0.4)15/15
cdm-CMA-ES Gissler 0.82 (0.4)0.96 (0.4)0.72 (1)1.2 (0.7)0.99 (0.5)0.92 (0.4)0.95 (0.3)15/15
cma-bp-bbob Brockhoff 0.79 (0.3)0.88 (0.3)0.64 (0.9)0.97 (0.7)0.75 (0.4)0.78 (0.3)0.83 (0.3)15/15
cma-bt-bbob Brockhoff 1.2 (0.6)1.1 (0.3)1.3 (2)1.6 (1.0)1.3 (0.7)1.1 (0.5)1.2 (1)13/15
d-CMA-ES Gissler 0.95 (0.3)1.0 (0.2)0.86 (0.8)0.70 (0.6)0.74 (0.5)0.75 (0.5)0.99 (0.4)15/15
default-CMA-ES Gissler 0.95 (0.5)1.6 (0.6)1.3 (1)1.0 (0.5)0.82 (0.3)↑10.86 (0.6)0.98 (0.6)15/15
dm-CMA-ES Gissler 0.87 (0.4)1.6 (0.4)1.1 (1)0.73 (0.5)0.69 (0.3)↑10.73 (0.3)0.81 (0.3)15/15
m-SDWOA Espinoza 7.0 (2)10 (2)2.7 (0.5)2.8 (3)2.0 (2)2.2 (1)2.5 (1)12/15
s-CMA-ES Gissler 1.1 (0.7)0.88 (0.3)0.78 (1)0.94 (0.6)0.83 (0.6)0.79 (0.3)0.80 (0.3)15/15
sc-CMA-ES Gissler 1.1 (0.5)1.9 (0.6)1.6 (3)1.3 (1)0.90 (0.8)0.98 (0.7)1.2 (0.6)15/15
scd-CMA-ES Gissler 1.00 (0.3)1.6 (0.2)0.72 (0.6)0.92 (0.5)0.70 (0.6)0.82 (0.4)1.0 (0.4)15/15
scdm-CMA-ES Gissler 0.88 (0.4)1.0 (0.3)0.64 (0.5)0.86 (0.5)0.80 (0.6)0.78 (0.4)0.87 (0.3)15/15
sd-CMA-ES Gissler 1.1 (0.6)1.6 (1)0.91 (1)0.88 (0.4)0.59 (0.3)↑10.65 (0.4)0.81 (0.3)15/15
sdm-CMA-ES Gissler 0.83 (0.3)0.92 (0.4)0.63 (0.7)0.81 (0.6)0.80 (0.5)0.87 (0.3)0.85 (0.3)15/15

Δ fopt
f19, 10-D		 1e1
1		 1e0
1		 1e-1
10609		 1e-2
9.8e5		 1e-3
1.4e6		 1e-5
1.4e6		 1e-7
1.4e6		 #succ
15/15
BIRMIN Kudela 79 (80)6.5e5 (8e5)∞∞∞∞∞5e50/15
DIRECT-REV Kudela 1 (0)1 (0)8.3 (24)∞∞∞∞5e50/15
E-WOA Espinoza 225 (216)1.5e5 (2e5)135 (165)∞∞∞∞1e50/15
I-DBDP-GL Kudela 143 (154)1.0e5 (5e4)∞∞∞∞∞5e50/15
WOA Espinoza 220 (148)1.4e6 (2e6)∞∞∞∞∞1e50/15
a-CMA-ES Gissler 1 (0)1 (0)13 (7)0.47 (0.2)↑00.44 (0.2)↑00.44 (0.2)↑00.44 (0.2)↑015/15
ad-CMA-ES Gissler 1 (0)1 (0)15 (7)0.63 (0.5)0.59 (0.3)↑00.59 (0.3)↑00.59 (0.3)↑015/15
adm-CMA-ES Gissler 1 (0)1 (0)12 (10)0.44 (0.2)↑00.39 (0.1)↑00.39 (0.1)↑00.39 (0.1)↑015/15
c-CMA-ES Gissler 1 (0)1 (0)13 (9)0.55 (0.2)↑00.51 (0.2)↑00.51 (0.2)↑00.52 (0.2)↑015/15
cd-CMA-ES Gissler 1 (0)1 (0)13 (6)0.63 (0.4)↑10.78 (0.5)0.78 (0.5)0.78 (0.5)14/15
cdm-CMA-ES Gissler 1 (0)1 (0)11 (8)0.44 (0.3)↑00.41 (0.2)↑00.42 (0.2)↑00.42 (0.2)↑015/15
cma-bp-bbob Brockhoff 1 (0)1 (0)26 (34)∞∞∞∞1e50/15
cma-bt-bbob Brockhoff 1 (0)1 (0)24 (19)∞∞∞∞1e50/15
d-CMA-ES Gissler 1 (0)1 (0)13 (6)0.58 (0.2)↑00.57 (0.2)↑00.58 (0.2)↑00.58 (0.2)↑015/15
default-CMA-ES Gissler 1 (0)1 (0)10 (6)0.49 (0.2)↑00.54 (0.3)↑00.55 (0.3)↑00.55 (0.3)↑015/15
dm-CMA-ES Gissler 1 (0)1 (0)13 (5)0.56 (0.3)↑10.52 (0.3)↑00.52 (0.3)↑00.53 (0.3)↑015/15
m-SDWOA Espinoza 280 (131)6.7e4 (3e4)∞∞∞∞∞1e50/15
s-CMA-ES Gissler 1 (0)1 (0)15 (9)0.58 (0.2)↑00.54 (0.3)↑00.54 (0.3)↑00.54 (0.3)↑015/15
sc-CMA-ES Gissler 1 (0)1 (0)14 (10)0.61 (0.5)0.57 (0.3)↑00.58 (0.3)↑00.58 (0.3)↑015/15
scd-CMA-ES Gissler 1 (0)1 (0)12 (7)0.65 (0.2)↑10.67 (0.2)↑10.68 (0.2)↑10.68 (0.2)↑115/15
scdm-CMA-ES Gissler 1 (0)1 (0)15 (11)0.75 (0.3)0.76 (0.2)↑00.76 (0.2)↑00.77 (0.2)↑015/15
sd-CMA-ES Gissler 1 (0)1 (0)14 (7)0.58 (0.2)↑10.53 (0.2)↑00.53 (0.2)↑00.53 (0.2)↑015/15
sdm-CMA-ES Gissler 1 (0)1 (0)15 (10)0.59 (0.3)↑00.50 (0.3)↑00.51 (0.3)↑00.51 (0.3)↑015/15

Δ fopt
f20, 10-D		 1e1
32		 1e0
15426		 1e-1
5.5e5		 1e-2
5.7e5		 1e-3
5.7e5		 1e-5
5.8e5		 1e-7
5.9e5		 #succ
15/15
BIRMIN Kudela 1.7 (0.6)1.1 (1)13 (14)12 (11)∞∞∞5e50/15
DIRECT-REV Kudela 1.3 (0)3.4 (3)∞∞∞∞∞5e50/15
E-WOA Espinoza 47 (38)∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 16 (6)0.42 (0.4)↑00.93 (1)0.91 (0.9)0.93 (0.9)1.1 (1)1.6 (1)6/15
WOA Espinoza 63 (96)∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 3.0 (2)2.3 (0.7)0.74 (0.5)0.75 (0.5)0.75 (0.5)0.75 (0.6)0.76 (0.6)15/15
ad-CMA-ES Gissler 3.6 (1)2.1 (0.8)1.7 (2)1.7 (1)1.7 (1)1.7 (2)1.7 (1)13/15
adm-CMA-ES Gissler 3.4 (1)2.2 (0.8)0.52 (0.3)↑00.52 (0.3)↑00.53 (0.3)↑00.53 (0.3)↑00.53 (0.3)↑015/15
c-CMA-ES Gissler 3.3 (2)1.4 (1)0.83 (0.6)0.85 (0.6)0.85 (0.6)0.86 (0.6)0.86 (0.6)15/15
cd-CMA-ES Gissler 3.2 (2)1.5 (1)2.3 (2)2.4 (2)2.5 (2)2.5 (2)2.5 (2)12/15
cdm-CMA-ES Gissler 3.7 (1)1.9 (1)0.81 (0.6)0.82 (0.6)0.82 (0.6)0.83 (0.6)0.83 (0.6)15/15
cma-bp-bbob Brockhoff 3.4 (2)2.1 (0.9)2.6 (2)2.6 (3)2.5 (2)2.5 (3)2.5 (2)1/15
cma-bt-bbob Brockhoff 4.2 (2)2.2 (0.9)∞∞∞∞∞1e50/15
d-CMA-ES Gissler 4.1 (1)1.9 (1)1.6 (0.9)1.6 (0.9)1.6 (0.9)1.7 (0.9)1.7 (0.9)14/15
default-CMA-ES Gissler 3.7 (2)1.8 (1)0.74 (0.4)0.76 (0.4)0.76 (0.4)0.77 (0.4)0.77 (0.4)15/15
dm-CMA-ES Gissler 3.8 (1)1.6 (1)0.68 (0.5)0.69 (0.6)0.70 (0.6)0.70 (0.6)0.71 (0.6)15/15
m-SDWOA Espinoza 27 (12)11 (7)∞∞∞∞∞1e50/15
s-CMA-ES Gissler 3.6 (2)2.6 (1)0.70 (0.4)0.71 (0.4)0.71 (0.4)0.72 (0.4)0.73 (0.4)15/15
sc-CMA-ES Gissler 3.7 (2)1.8 (1)0.93 (0.4)0.95 (0.4)0.95 (0.4)0.96 (0.4)0.96 (0.4)15/15
scd-CMA-ES Gissler 4.1 (2)1.8 (1)2.2 (1)2.2 (2)2.3 (2)2.3 (2)2.3 (1)13/15
scdm-CMA-ES Gissler 3.7 (2)2.4 (1)0.97 (0.4)0.98 (0.4)0.99 (0.4)0.99 (0.4)1.00 (0.4)15/15
sd-CMA-ES Gissler 3.8 (1)2.3 (2)1.4 (0.8)1.5 (0.9)1.5 (0.9)1.5 (0.9)1.6 (0.9)15/15
sdm-CMA-ES Gissler 3.8 (2)2.1 (1)0.68 (0.4)0.69 (0.4)0.69 (0.4)0.70 (0.4)0.70 (0.4)15/15

Δ fopt
f21, 10-D		 1e1
130		 1e0
2236		 1e-1
4392		 1e-2
4487		 1e-3
4618		 1e-5
5074		 1e-7
11329		 #succ
15/15
BIRMIN Kudela 2.2 (4)1.5 (2)1.7 (2)2.7 (4)3.2 (4)37 (50)∞5e50/15
DIRECT-REV Kudela 1.8 (3)2.6 (4)2.9 (3)2.8 (3)2.8 (3)2.6 (3)∞5e50/15
E-WOA Espinoza 25 (17)75 (79)66 (120)67 (45)67 (71)65 (60)64 (44)1/15
I-DBDP-GL Kudela 5.7 (4)7.4 (12)4.9 (6)5.3 (6)5.6 (7)6.6 (6)4.0 (3)15/15
WOA Espinoza 72 (44)629 (525)∞∞∞∞∞1e50/15
a-CMA-ES Gissler 6.0 (9)33 (16)84 (188)83 (152)81 (117)74 (107)33 (57)10/15
ad-CMA-ES Gissler 5.0 (2)50 (129)121 (192)119 (166)116 (187)105 (115)47 (51)8/15
adm-CMA-ES Gissler 4.7 (0.8)27 (9)55 (111)54 (106)53 (73)48 (93)22 (56)11/15
c-CMA-ES Gissler 1.6 (0.7)32 (46)45 (72)45 (76)43 (67)40 (71)18 (28)12/15
cd-CMA-ES Gissler 6.6 (11)45 (77)89 (115)87 (116)85 (132)78 (126)35 (48)10/15
cdm-CMA-ES Gissler 3.3 (3)29 (25)105 (226)103 (190)100 (144)92 (163)41 (72)9/15
cma-bp-bbob Brockhoff 6.3 (9)20 (30)15 (21)15 (16)15 (22)13 (15)6.0 (10)10/15
cma-bt-bbob Brockhoff 8.0 (11)12 (24)15 (22)15 (17)14 (19)13 (18)6.0 (8)11/15
d-CMA-ES Gissler 3.1 (2)48 (132)73 (111)72 (134)70 (72)64 (93)29 (52)10/15
default-CMA-ES Gissler 13 (11)32 (27)114 (203)113 (138)110 (175)101 (183)46 (57)9/15
dm-CMA-ES Gissler 6.2 (11)29 (15)68 (77)67 (118)65 (110)60 (107)27 (49)11/15
m-SDWOA Espinoza 15 (8)25 (45)28 (40)27 (62)27 (32)25 (40)11 (11)7/15
s-CMA-ES Gissler 1.7 (0.7)28 (26)74 (142)72 (74)70 (135)64 (124)29 (53)10/15
sc-CMA-ES Gissler 6.4 (12)78 (140)55 (104)54 (134)52 (98)48 (64)22 (43)11/15
scd-CMA-ES Gissler 10 (12)40 (73)65 (82)65 (69)63 (74)58 (88)26 (29)11/15
scdm-CMA-ES Gissler 3.1 (0.8)118 (226)112 (127)110 (223)107 (88)98 (141)44 (65)9/15
sd-CMA-ES Gissler 3.0 (1)50 (129)162 (172)159 (201)155 (194)142 (227)64 (105)7/15
sdm-CMA-ES Gissler 4.8 (11)153 (303)135 (333)132 (152)128 (215)117 (134)52 (73)8/15

Δ fopt
f22, 10-D		 1e1
98		 1e0
2839		 1e-1
6353		 1e-2
6620		 1e-3
6798		 1e-5
8296		 1e-7
10351		 #succ
15/15
BIRMIN Kudela 3.9 (5)1.6 (2)7.1 (4)18 (22)41 (48)74 (62)197 (193)0/15
DIRECT-REV Kudela 4.3 (6)4.5 (9)11 (13)10 (12)10 (12)8.4 (10)331 (369)1/15
E-WOA Espinoza 319 (715)105 (145)226 (295)226 (355)∞∞∞1e50/15
I-DBDP-GL Kudela 8.6 (4)8.9 (5)53 (57)52 (78)52 (52)47 (37)45 (54)10/15
WOA Espinoza 295 (779)498 (634)∞∞∞∞∞1e50/15
a-CMA-ES Gissler 427 (31)139 (210)1270 (1614)1219 (1788)1187 (958)973 (794)781 (880)1/15
ad-CMA-ES Gissler 36 (33)52 (97)∞∞∞∞∞6e50/15
adm-CMA-ES Gissler 72 (186)83 (116)∞∞∞∞∞6e50/15
c-CMA-ES Gissler 136 (65)136 (253)1277 (960)1226 (902)1194 (953)978 (927)784 (1005)1/15
cd-CMA-ES Gissler 22 (41)57 (102)1258 (1508)1207 (1315)1176 (1257)963 (1271)772 (949)1/15
cdm-CMA-ES Gissler 8.1 (15)121 (221)∞∞∞∞∞6e50/15
cma-bp-bbob Brockhoff 10 (16)27 (31)222 (174)213 (182)208 (233)170 (233)137 (87)1/15
cma-bt-bbob Brockhoff 7.6 (14)52 (61)∞∞∞∞∞1e50/15
d-CMA-ES Gissler 53 (67)59 (109)1257 (1130)1207 (1646)1175 (1754)963 (998)772 (606)1/15
default-CMA-ES Gissler 85 (35)99 (228)∞∞∞∞∞6e50/15
dm-CMA-ES Gissler 65 (39)124 (120)∞∞∞∞∞6e50/15
m-SDWOA Espinoza 94 (19)33 (53)222 (169)214 (208)213 (283)∞∞1e50/15
s-CMA-ES Gissler 73 (115)87 (108)∞∞∞∞∞6e50/15
sc-CMA-ES Gissler 12 (14)56 (103)∞∞∞∞∞6e50/15
scd-CMA-ES Gissler 40 (66)144 (105)∞∞∞∞∞6e50/15
scdm-CMA-ES Gissler 19 (33)123 (227)1397 (1563)1340 (1486)1305 (2819)1070 (1642)857 (720)1/15
sd-CMA-ES Gissler 12 (15)104 (106)1315 (1199)1265 (1127)1232 (1222)1012 (833)813 (967)1/15
sdm-CMA-ES Gissler 14 (16)124 (118)∞∞∞∞∞6e50/15

Δ fopt
f23, 10-D		 1e1
3.0		 1e0
915		 1e-1
16425		 1e-2
1.8e5		 1e-3
2.0e5		 1e-5
2.1e5		 1e-7
2.1e5		 #succ
15/15
BIRMIN Kudela 1.2 (1)60 (51)∞∞∞∞∞5e50/15
DIRECT-REV Kudela 5.1 (8)55 (112)∞∞∞∞∞5e50/15
E-WOA Espinoza 1.6 (2)129 (164)∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 1.2 (1)15 (6)3.8 (2)8.6 (10)18 (23)∞∞5e50/15
WOA Espinoza 1.6 (2)91 (169)∞∞∞∞∞1e50/15
a-CMA-ES Gissler 1.2 (1)3.6 (4)2.0 (2)6.7 (8)7.8 (12)7.6 (12)7.5 (10)9/15
ad-CMA-ES Gissler 1.8 (2)2.9 (0.8)1.3 (0.5)5.8 (6)5.2 (5)5.1 (5)5.0 (9)10/15
adm-CMA-ES Gissler 1.6 (1)4.6 (6)1.9 (1)3.5 (5)3.2 (5)3.1 (5)3.1 (5)12/15
c-CMA-ES Gissler 1.4 (2)14 (18)12 (15)15 (22)14 (15)14 (19)13 (25)7/15
cd-CMA-ES Gissler 2.5 (3)22 (8)33 (63)11 (9)10 (8)10 (6)10 (10)8/15
cdm-CMA-ES Gissler 1.4 (1)18 (18)19 (19)8.1 (11)7.3 (9)7.2 (8)7.1 (8)10/15
cma-bp-bbob Brockhoff 2.0 (2)13 (18)7.7 (6)3.9 (5)3.5 (4)3.4 (4)3.4 (3)2/15
cma-bt-bbob Brockhoff 1.5 (1)36 (48)15 (21)7.9 (9)7.1 (7)6.9 (12)6.8 (7)1/15
d-CMA-ES Gissler 2.0 (3)26 (18)35 (95)20 (27)18 (19)18 (20)17 (33)6/15
default-CMA-ES Gissler 1.8 (2)14 (15)7.1 (11)8.2 (14)10 (15)9.4 (12)9.2 (14)7/15
dm-CMA-ES Gissler 1.4 (1)20 (21)12 (17)8.8 (14)10 (13)10 (12)10 (12)8/15
m-SDWOA Espinoza 1.6 (2)155 (148)∞∞∞∞∞1e50/15
s-CMA-ES Gissler 2.6 (3)13 (9)14 (5)9.3 (17)8.5 (10)8.3 (10)8.2 (10)9/15
sc-CMA-ES Gissler 1.9 (2)16 (18)26 (61)24 (38)22 (28)21 (29)21 (31)5/15
scd-CMA-ES Gissler 1.8 (2)12 (8)53 (70)153 (204)138 (118)135 (160)132 (150)1/15
scdm-CMA-ES Gissler 3.2 (4)16 (11)26 (65)12 (17)13 (14)13 (19)13 (13)7/15
sd-CMA-ES Gissler 2.8 (2)14 (15)15 (5)72 (73)65 (64)64 (55)62 (133)2/15
sdm-CMA-ES Gissler 1.7 (1)16 (16)6.5 (7)8.7 (8)7.9 (9)7.8 (7)7.6 (8)10/15

Δ fopt
f24, 10-D		 1e1
98761		 1e0
1.0e6		 1e-1
7.5e7		 1e-2
7.5e7		 1e-3
7.5e7		 1e-5
7.5e7		 1e-7
7.5e7		 #succ
1/15
BIRMIN Kudela 71 (116)∞∞∞∞∞∞5e50/15
DIRECT-REV Kudela 35 (30)∞∞∞∞∞∞5e50/15
E-WOA Espinoza ∞∞∞∞∞∞∞1e50/15
I-DBDP-GL Kudela 6.3 (7)∞∞∞∞∞∞5e50/15
WOA Espinoza ∞∞∞∞∞∞∞1e50/15
a-CMA-ES Gissler 17 (21)3.4 (4)0.19 (0.2)0.19 (0.2)0.19 (0.2)0.19 (0.2)0.19 (0.2)2/15
ad-CMA-ES Gissler 4.3 (10)2.0 (3)0.38 (0.3)0.38 (0.4)0.38 (0.4)0.38 (0.4)0.38 (0.4)1/15
adm-CMA-ES Gissler 31 (36)27 (29)∞∞∞∞∞2e60/15
c-CMA-ES Gissler 19 (25)13 (26)0.38 (0.4)0.38 (0.4)0.38 (0.6)0.38 (0.5)0.38 (0.2)1/15
cd-CMA-ES Gissler 21 (42)3.2 (4)0.19 (0.2)0.19 (0.2)0.19 (0.1)0.19 (0.2)0.19 (0.2)2/15
cdm-CMA-ES Gissler 81 (76)∞∞∞∞∞∞2e60/15
cma-bp-bbob Brockhoff 1.7 (2)∞∞∞∞∞∞1e50/15
cma-bt-bbob Brockhoff 0.80 (0.9)∞∞∞∞∞∞1e50/15
d-CMA-ES Gissler 6.9 (10)1.3 (2)0.19 (0.4)0.39 (0.5)0.39 (0.6)0.39 (0.4)0.39 (0.4)1/15
default-CMA-ES Gissler 19 (20)13 (13)∞∞∞∞∞2e60/15
dm-CMA-ES Gissler 18 (35)13 (19)∞∞∞∞∞2e60/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞1e50/15
s-CMA-ES Gissler 18 (26)13 (18)∞∞∞∞∞2e60/15
sc-CMA-ES Gissler 59 (79)13 (12)0.39 (0.3)0.39 (0.5)0.39 (0.4)0.39 (0.5)0.39 (0.4)1/15
scd-CMA-ES Gissler 6.1 (11)3.1 (5)0.38 (0.5)∞∞∞∞2e60/15
scdm-CMA-ES Gissler 56 (61)∞∞∞∞∞∞2e60/15
sd-CMA-ES Gissler 5.0 (10)1.7 (2)0.19 (0.1)0.19 (0.2)0.19 (0.2)0.19 (0.2)0.19 (0.2)2/15
sdm-CMA-ES Gissler 41 (51)∞∞∞∞∞∞2e60/15

Previous dimension | Dimension = 20 | Next dimension

Δ fopt
f1, 20-D		 1e1
43		 1e0
43		 1e-1
43		 1e-2
43		 1e-3
43		 1e-5
43		 1e-7
43		 #succ
15/15
BIRMIN Kudela 2.8 (0.4)2.8 (0.3)2.8 (0.3)2.8 (0.3)5.5 (0.5)6.4 (0.9)6.7 (1)15/15
DIRECT-REV Kudela 2.4 (0.3)★22.6 (0.1)★32.6 (0.1)★32.6 (0.1)★33.0 (0.1)★46.0 (0.1)★6.0 (0.1)★315/15
E-WOA Espinoza 153 (42)460 (94)970 (294)1737 (548)2517 (674)2.3e4 (2e4)∞2e50/15
I-DBDP-GL Kudela 73 (30)283 (72)811 (468)1515 (784)2390 (970)4464 (1123)7132 (1221)15/15
WOA Espinoza 1873 (2416)∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 5.6 (0.8)11 (0.8)17 (1)22 (1)28 (1)40 (1)51 (2)15/15
ad-CMA-ES Gissler 6.2 (1)13 (1)19 (2)25 (2)32 (2)44 (2)57 (2)15/15
adm-CMA-ES Gissler 6.3 (1.0)13 (0.9)18 (1)25 (2)31 (1)44 (2)57 (2)15/15
c-CMA-ES Gissler 6.6 (1)13 (1)19 (2)26 (1)33 (2)45 (2)59 (3)15/15
cd-CMA-ES Gissler 6.9 (1)14 (2)21 (2)28 (2)36 (2)50 (2)65 (2)15/15
cdm-CMA-ES Gissler 7.2 (1)14 (2)21 (2)28 (2)36 (3)50 (2)65 (3)15/15
cma-bp-bbob Brockhoff 6.5 (1)13 (1)19 (1)25 (1)32 (1)45 (3)57 (4)15/15
cma-bt-bbob Brockhoff 8.0 (2)15 (3)21 (3)28 (3)34 (3)47 (4)60 (4)15/15
d-CMA-ES Gissler 6.8 (1)14 (1)21 (2)28 (2)35 (2)49 (3)63 (3)15/15
default-CMA-ES Gissler 6.8 (1.0)13 (1)19 (1)25 (2)32 (2)45 (2)57 (3)15/15
dm-CMA-ES Gissler 6.3 (1)14 (1)21 (2)28 (2)35 (2)49 (3)63 (3)15/15
m-SDWOA Espinoza 67 (21)152 (41)239 (49)337 (82)452 (92)729 (205)1198 (276)14/15
s-CMA-ES Gissler 6.8 (2)13 (2)20 (2)27 (4)34 (4)49 (4)63 (6)15/15
sc-CMA-ES Gissler 7.4 (3)14 (3)20 (4)27 (6)35 (5)49 (4)64 (6)15/15
scd-CMA-ES Gissler 6.9 (2)15 (5)22 (6)30 (5)38 (6)53 (7)69 (7)15/15
scdm-CMA-ES Gissler 6.8 (1)15 (3)21 (3)30 (3)37 (4)52 (5)67 (4)15/15
sd-CMA-ES Gissler 6.7 (2)14 (2)21 (3)28 (4)35 (4)50 (3)65 (6)15/15
sdm-CMA-ES Gissler 6.3 (2)14 (4)21 (6)28 (5)36 (6)50 (6)66 (8)15/15

Δ fopt
f2, 20-D		 1e1
385		 1e0
386		 1e-1
387		 1e-2
388		 1e-3
390		 1e-5
391		 1e-7
393		 #succ
15/15
BIRMIN Kudela 2.7 (1)3.4 (0.9)4.1 (1)4.6 (1)5.2 (1)645 (1279)932 (1273)10/15
DIRECT-REV Kudela 189 (3)189 (2)402 (1292)402 (1289)400 (1282)1285 (3837)5096 (5089)4/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 2134 (1876)6834 (7158)1.9e4 (2e4)3.8e4 (3e4)∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 21 (3)26 (3)29 (2)31 (2)32 (1)33 (1)35 (1)15/15
ad-CMA-ES Gissler 20 (3)26 (4)29 (3)31 (2)32 (2)33 (2)35 (2)15/15
adm-CMA-ES Gissler 23 (4)27 (3)29 (3)31 (2)32 (2)33 (2)34 (2)15/15
c-CMA-ES Gissler 29 (6)34 (7)37 (6)39 (5)41 (4)43 (4)44 (3)15/15
cd-CMA-ES Gissler 30 (4)35 (5)38 (3)40 (2)42 (2)44 (2)45 (2)15/15
cdm-CMA-ES Gissler 27 (4)32 (5)35 (4)38 (3)40 (4)42 (4)44 (2)15/15
cma-bp-bbob Brockhoff 20 (4)25 (3)28 (3)30 (2)31 (2)33 (1)34 (2)15/15
cma-bt-bbob Brockhoff 22 (1)26 (3)29 (3)30 (2)31 (2)32 (2)34 (2)15/15
d-CMA-ES Gissler 22 (3)26 (3)28 (2)29 (2)31 (2)32 (2)34 (2)15/15
default-CMA-ES Gissler 21 (3)25 (3)28 (3)30 (3)31 (2)32 (2)34 (2)15/15
dm-CMA-ES Gissler 22 (1)26 (2)29 (2)30 (2)32 (0.9)33 (0.8)35 (0.9)15/15
m-SDWOA Espinoza 44 (11)93 (13)104 (13)114 (13)124 (13)143 (17)162 (19)14/15
s-CMA-ES Gissler 26 (5)32 (5)35 (3)37 (3)37 (3)39 (2)41 (2)15/15
sc-CMA-ES Gissler 35 (7)41 (7)45 (7)48 (5)50 (4)52 (4)54 (4)15/15
scd-CMA-ES Gissler 32 (5)39 (6)44 (4)47 (4)49 (3)51 (4)52 (4)15/15
scdm-CMA-ES Gissler 34 (6)40 (5)44 (5)46 (4)48 (4)51 (4)52 (4)15/15
sd-CMA-ES Gissler 23 (7)30 (4)34 (4)36 (2)38 (3)40 (3)41 (3)15/15
sdm-CMA-ES Gissler 28 (6)33 (5)36 (4)37 (3)38 (3)39 (3)41 (3)15/15

Δ fopt
f3, 20-D		 1e1
5066		 1e0
7626		 1e-1
7635		 1e-2
7637		 1e-3
7643		 1e-5
7646		 1e-7
7651		 #succ
15/15
BIRMIN Kudela ∞∞∞∞∞∞∞1e60/15
DIRECT-REV Kudela ∞∞∞∞∞∞∞1e60/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela ∞∞∞∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 7.5 (5)∞∞∞∞∞∞3e60/15
ad-CMA-ES Gissler 8.1 (6)∞∞∞∞∞∞2e60/15
adm-CMA-ES Gissler 7.5 (5)∞∞∞∞∞∞3e60/15
c-CMA-ES Gissler 12 (8)∞∞∞∞∞∞3e60/15
cd-CMA-ES Gissler 16 (17)∞∞∞∞∞∞2e60/15
cdm-CMA-ES Gissler 12 (8)∞∞∞∞∞∞7e50/15
cma-bp-bbob Brockhoff 21 (24)∞∞∞∞∞∞2e50/15
cma-bt-bbob Brockhoff 25 (27)∞∞∞∞∞∞2e50/15
d-CMA-ES Gissler 15 (10)∞∞∞∞∞∞2e60/15
default-CMA-ES Gissler 7.9 (8)∞∞∞∞∞∞3e60/15
dm-CMA-ES Gissler 14 (8)∞∞∞∞∞∞7e50/15
m-SDWOA Espinoza 110 (102)∞∞∞∞∞∞2e50/15
s-CMA-ES Gissler 17 (28)∞∞∞∞∞∞3e60/15
sc-CMA-ES Gissler 10 (3)∞∞∞∞∞∞3e60/15
scd-CMA-ES Gissler 14 (9)∞∞∞∞∞∞2e60/15
scdm-CMA-ES Gissler 11 (6)∞∞∞∞∞∞8e50/15
sd-CMA-ES Gissler 10 (4)∞∞∞∞∞∞2e60/15
sdm-CMA-ES Gissler 12 (8)∞∞∞∞∞∞8e50/15

Δ fopt
f4, 20-D		 1e1
4722		 1e0
7628		 1e-1
7666		 1e-2
7686		 1e-3
7700		 1e-5
7758		 1e-7
1.4e5		 #succ
9/15
BIRMIN Kudela ∞∞∞∞∞∞∞1e60/15
DIRECT-REV Kudela ∞∞∞∞∞∞∞1e60/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela ∞∞∞∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler ∞∞∞∞∞∞∞3e60/15
ad-CMA-ES Gissler ∞∞∞∞∞∞∞2e60/15
adm-CMA-ES Gissler ∞∞∞∞∞∞∞3e60/15
c-CMA-ES Gissler ∞∞∞∞∞∞∞2e60/15
cd-CMA-ES Gissler ∞∞∞∞∞∞∞2e60/15
cdm-CMA-ES Gissler ∞∞∞∞∞∞∞3e60/15
cma-bp-bbob Brockhoff ∞∞∞∞∞∞∞2e50/15
cma-bt-bbob Brockhoff ∞∞∞∞∞∞∞2e50/15
d-CMA-ES Gissler ∞∞∞∞∞∞∞2e60/15
default-CMA-ES Gissler ∞∞∞∞∞∞∞2e60/15
dm-CMA-ES Gissler ∞∞∞∞∞∞∞3e60/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞2e50/15
s-CMA-ES Gissler ∞∞∞∞∞∞∞2e60/15
sc-CMA-ES Gissler ∞∞∞∞∞∞∞2e60/15
scd-CMA-ES Gissler ∞∞∞∞∞∞∞2e60/15
scdm-CMA-ES Gissler ∞∞∞∞∞∞∞3e60/15
sd-CMA-ES Gissler ∞∞∞∞∞∞∞2e60/15
sdm-CMA-ES Gissler ∞∞∞∞∞∞∞3e60/15

Δ fopt
f5, 20-D		 1e1
41		 1e0
41		 1e-1
41		 1e-2
41		 1e-3
41		 1e-5
41		 1e-7
41		 #succ
15/15
BIRMIN Kudela 24 (3)32 (3)36 (2)36 (2)37 (2)37 (2)∞1e60/15
DIRECT-REV Kudela 26 (0)36 (0)39 (0)39 (0)39 (0)40 (0)∞1e60/15
E-WOA Espinoza 814 (1131)1003 (1160)1005 (1161)1006 (1161)1006 (1161)1006 (1161)1006 (1161)15/15
I-DBDP-GL Kudela 502 (24)1342 (25)2539 (22)4332 (101)6473 (56)1.2e4 (164)1.9e4 (71)15/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 4.7 (1)5.5 (1)5.6 (1)5.6 (1)5.6 (1)5.6 (1)5.6 (1)15/15
ad-CMA-ES Gissler 4.9 (1)6.0 (0.9)6.1 (0.9)6.1 (0.9)6.1 (0.9)6.1 (0.9)6.1 (0.9)15/15
adm-CMA-ES Gissler 5.3 (2)6.0 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)15/15
c-CMA-ES Gissler 5.3 (1)6.5 (1)6.7 (1)6.7 (1)6.7 (1)6.7 (1)6.7 (1)15/15
cd-CMA-ES Gissler 5.6 (1)6.7 (2)7.0 (1)7.0 (1)7.0 (1)7.0 (1)7.0 (1)15/15
cdm-CMA-ES Gissler 5.4 (0.9)6.5 (1)6.6 (1)6.7 (1)6.7 (1)6.7 (1)6.7 (1)15/15
cma-bp-bbob Brockhoff 30 (24)51 (33)56 (35)57 (35)57 (35)57 (35)57 (35)15/15
cma-bt-bbob Brockhoff 22 (3)33 (8)41 (8)48 (8)55 (8)69 (9)83 (7)15/15
d-CMA-ES Gissler 5.1 (1)5.9 (0.9)6.0 (0.9)6.0 (1.0)6.0 (1.0)6.0 (1.0)6.0 (1.0)15/15
default-CMA-ES Gissler 4.9 (1)5.6 (2)5.8 (1)5.8 (1)5.8 (1)5.8 (1)5.8 (1)15/15
dm-CMA-ES Gissler 5.4 (1)6.1 (1)6.4 (1)6.4 (1)6.4 (1)6.4 (1)6.4 (1)15/15
m-SDWOA Espinoza 275 (33)483 (32)680 (36)878 (34)1082 (53)1505 (52)1924 (54)15/15
s-CMA-ES Gissler 5.4 (2)6.3 (2)6.6 (2)6.6 (2)6.6 (2)6.6 (2)6.6 (2)15/15
sc-CMA-ES Gissler 4.7 (1)5.6 (1)5.8 (1)5.8 (1)5.8 (1)5.8 (1)5.8 (1)15/15
scd-CMA-ES Gissler 5.0 (1)6.3 (2)6.5 (1)6.5 (1)6.5 (1)6.5 (1)6.5 (1)15/15
scdm-CMA-ES Gissler 5.1 (0.8)6.5 (0.9)6.6 (1.0)6.6 (0.9)6.6 (0.9)6.6 (0.9)6.6 (0.9)15/15
sd-CMA-ES Gissler 5.6 (1)6.5 (1)6.6 (1)6.6 (1)6.6 (1)6.6 (1)6.6 (1)15/15
sdm-CMA-ES Gissler 4.9 (2)5.9 (2)6.0 (2)6.0 (2)6.0 (2)6.0 (2)6.0 (2)15/15

Δ fopt
f6, 20-D		 1e1
1296		 1e0
2343		 1e-1
3413		 1e-2
4255		 1e-3
5220		 1e-5
6728		 1e-7
8409		 #succ
15/15
BIRMIN Kudela 1.2 (0.4)108 (213)4103 (3809)∞∞∞∞1e60/15
DIRECT-REV Kudela 18 (0.7)228 (248)4199 (4102)3368 (2703)2745 (2778)∞∞1e60/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 205 (187)327 (261)679 (545)∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 1.3 (0.3)1.1 (0.2)1.0 (0.2)1.0 (0.2)1.1 (0.1)1.1 (0.2)1.1 (0.2)15/15
ad-CMA-ES Gissler 1.3 (0.2)1.0 (0.2)0.95 (0.1)0.97 (0.2)0.97 (0.2)1.0 (0.2)1.1 (0.2)15/15
adm-CMA-ES Gissler 1.2 (0.2)1.0 (0.1)0.95 (0.1)0.95 (0.1)0.95 (0.1)0.98 (0.1)1.0 (0.1)15/15
c-CMA-ES Gissler 1.7 (0.2)1.3 (0.1)1.2 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
cd-CMA-ES Gissler 1.5 (0.2)1.2 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
cdm-CMA-ES Gissler 1.5 (0.2)1.3 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
cma-bp-bbob Brockhoff 1.5 (0.8)1.2 (0.6)1.1 (0.5)1.1 (0.4)1.1 (0.3)1.1 (0.3)1.1 (0.3)15/15
cma-bt-bbob Brockhoff 1.5 (0.4)1.2 (0.2)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
d-CMA-ES Gissler 1.4 (0.2)1.2 (0.2)1.1 (0.1)1.1 (0.1)1.0 (0.1)1.1 (0.1)1.1 (0.1)15/15
default-CMA-ES Gissler 1.4 (0.2)1.2 (0.1)1.0 (0.1)1.0 (0.1)1.0 (0.1)1.0 (0.1)1.1 (0.1)15/15
dm-CMA-ES Gissler 1.5 (0.2)1.2 (0.2)1.1 (0.1)1.1 (0.1)1.0 (0.1)1.1 (0.1)1.1 (0.1)15/15
m-SDWOA Espinoza 16 (5)19 (10)21 (12)23 (11)28 (20)42 (24)87 (113)1/15
s-CMA-ES Gissler 1.3 (0.4)1.1 (0.3)1.00 (0.2)1.0 (0.2)1.0 (0.2)1.1 (0.2)1.1 (0.3)15/15
sc-CMA-ES Gissler 1.5 (0.3)1.2 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.1)15/15
scd-CMA-ES Gissler 1.4 (0.2)1.2 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
scdm-CMA-ES Gissler 1.4 (0.2)1.2 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.1)15/15
sd-CMA-ES Gissler 1.5 (0.4)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.2 (0.2)1.2 (0.3)15/15
sdm-CMA-ES Gissler 1.5 (0.3)1.2 (0.2)1.1 (0.1)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.2 (0.2)15/15

Δ fopt
f7, 20-D		 1e1
1351		 1e0
4274		 1e-1
9503		 1e-2
16523		 1e-3
16524		 1e-5
16524		 1e-7
16969		 #succ
15/15
BIRMIN Kudela 24 (27)1723 (1695)∞∞∞∞∞1e60/15
DIRECT-REV Kudela 29 (19)1060 (1523)∞∞∞∞∞1e60/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 22 (11)191 (195)758 (706)∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 1.3 (1.0)2.5 (1)1.5 (0.5)0.98 (0.3)0.98 (0.3)0.98 (0.3)0.97 (0.3)15/15
ad-CMA-ES Gissler 0.67 (0.1)↑02.5 (2)1.8 (0.6)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.1 (0.4)15/15
adm-CMA-ES Gissler 1.2 (1)2.3 (2)1.9 (0.7)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
c-CMA-ES Gissler 0.75 (0.2)↑12.3 (0.9)1.7 (0.7)1.1 (0.4)1.1 (0.4)1.1 (0.4)1.0 (0.4)15/15
cd-CMA-ES Gissler 0.75 (0.2)↑12.3 (0.7)1.8 (0.7)1.1 (0.4)1.1 (0.4)1.1 (0.4)1.1 (0.4)15/15
cdm-CMA-ES Gissler 0.98 (0.4)2.4 (0.7)1.5 (0.7)0.95 (0.4)0.95 (0.4)0.95 (0.4)0.93 (0.4)15/15
cma-bp-bbob Brockhoff 0.72 (0.2)↑12.8 (2)1.6 (0.6)1.0 (0.4)1.0 (0.4)1.0 (0.4)1.0 (0.4)15/15
cma-bt-bbob Brockhoff 1.1 (0.4)4.6 (3)3.2 (2)2.0 (1)2.0 (1)2.0 (1)1.9 (1)15/15
d-CMA-ES Gissler 1.0 (1.0)3.2 (2)1.9 (0.6)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
default-CMA-ES Gissler 1.0 (1)2.5 (2)1.6 (0.6)0.98 (0.3)0.98 (0.3)0.98 (0.3)0.97 (0.3)15/15
dm-CMA-ES Gissler 0.76 (0.2)↑12.3 (0.8)1.8 (0.6)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.1 (0.4)15/15
m-SDWOA Espinoza 6.1 (2)135 (140)140 (179)174 (233)∞∞∞2e50/15
s-CMA-ES Gissler 1.0 (1)2.5 (0.4)1.5 (0.6)1.0 (0.4)1.0 (0.4)1.0 (0.4)1.00 (0.4)15/15
sc-CMA-ES Gissler 1.2 (1)2.4 (2)2.1 (1)1.3 (0.8)1.3 (0.8)1.3 (0.8)1.3 (0.8)15/15
scd-CMA-ES Gissler 0.93 (0.3)3.1 (1)2.2 (0.6)1.4 (0.4)1.4 (0.4)1.4 (0.4)1.4 (0.4)15/15
scdm-CMA-ES Gissler 0.95 (0.2)2.9 (2)1.7 (0.6)1.1 (0.4)1.1 (0.4)1.1 (0.4)1.1 (0.4)15/15
sd-CMA-ES Gissler 0.86 (0.2)2.6 (2)2.0 (0.7)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
sdm-CMA-ES Gissler 1.1 (1)3.0 (2)1.9 (0.6)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15

Δ fopt
f8, 20-D		 1e1
2039		 1e0
3871		 1e-1
4040		 1e-2
4148		 1e-3
4219		 1e-5
4371		 1e-7
4484		 #succ
15/15
BIRMIN Kudela 0.63 (0.2)↑019 (0.2)18 (0.2)18 (0.2)17 (0.2)36 (114)35 (112)13/15
DIRECT-REV Kudela 0.66 (0.1)↑065 (129)62 (124)61 (121)60 (119)58 (114)56 (112)12/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 452 (285)∞∞∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 3.3 (1.0)3.6 (1.0)3.8 (1.0)3.9 (0.9)3.9 (0.9)3.9 (0.9)4.0 (0.8)15/15
ad-CMA-ES Gissler 3.5 (1)4.4 (3)4.6 (3)4.7 (3)4.7 (3)4.7 (3)4.7 (3)15/15
adm-CMA-ES Gissler 3.4 (1)3.8 (3)4.0 (3)4.1 (3)4.1 (3)4.1 (3)4.2 (3)15/15
c-CMA-ES Gissler 5.0 (0.8)5.4 (0.6)6.1 (0.7)6.5 (0.7)6.6 (0.7)6.7 (0.8)6.8 (0.7)15/15
cd-CMA-ES Gissler 5.2 (0.9)6.1 (4)6.7 (4)7.1 (4)7.2 (4)7.3 (4)7.3 (4)15/15
cdm-CMA-ES Gissler 5.3 (1)6.2 (4)6.8 (4)7.1 (4)7.3 (4)7.4 (4)7.4 (4)15/15
cma-bp-bbob Brockhoff 3.4 (1.0)3.4 (0.5)3.6 (0.5)3.7 (0.5)3.7 (0.5)3.8 (0.4)3.8 (0.5)15/15
cma-bt-bbob Brockhoff 3.4 (0.8)3.6 (0.6)3.8 (0.5)3.9 (0.5)4.0 (0.5)4.0 (0.5)4.0 (0.5)15/15
d-CMA-ES Gissler 3.6 (0.9)3.9 (2)4.1 (2)4.2 (2)4.3 (2)4.3 (2)4.3 (2)15/15
default-CMA-ES Gissler 3.3 (0.9)4.3 (3)4.5 (3)4.5 (3)4.6 (3)4.6 (3)4.7 (3)15/15
dm-CMA-ES Gissler 3.5 (0.8)4.8 (3)5.0 (3)5.1 (3)5.1 (3)5.2 (3)5.2 (3)15/15
m-SDWOA Espinoza 429 (474)370 (415)∞∞∞∞∞2e50/15
s-CMA-ES Gissler 3.5 (0.8)4.1 (0.5)4.3 (0.5)4.4 (0.5)4.4 (0.5)4.4 (0.5)4.5 (0.5)15/15
sc-CMA-ES Gissler 5.9 (2)6.6 (4)7.1 (4)7.3 (4)7.5 (4)7.5 (4)7.4 (4)15/15
scd-CMA-ES Gissler 5.8 (2)7.4 (4)7.8 (4)8.1 (4)8.2 (4)8.2 (4)8.1 (3)15/15
scdm-CMA-ES Gissler 5.8 (2)7.2 (5)7.7 (4)8.0 (4)8.1 (4)8.0 (4)8.0 (4)15/15
sd-CMA-ES Gissler 3.8 (1.0)4.6 (3)4.8 (2)4.9 (2)4.9 (2)4.9 (2)5.0 (2)15/15
sdm-CMA-ES Gissler 3.4 (0.6)3.6 (0.3)3.9 (0.3)4.0 (0.3)4.0 (0.3)4.0 (0.2)4.1 (0.3)15/15

Δ fopt
f9, 20-D		 1e1
1716		 1e0
3102		 1e-1
3277		 1e-2
3379		 1e-3
3455		 1e-5
3594		 1e-7
3727		 #succ
15/15
BIRMIN Kudela 0.71 (0.2)↑00.64 (0.1)↑00.66 (0.1)↑00.67 (0.1)↑00.67 (0.1)↑00.66 (0.1)↑00.65 (0.1)↑015/15
DIRECT-REV Kudela 0.86 (0.2)0.67 (0.2)↑00.69 (0.1)↑00.70 (0.1)↑00.70 (0.1)↑00.68 (0.1)↑00.67 (0.1)↑015/15
E-WOA Espinoza 1699 (2185)∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela ∞∞∞∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 3.9 (1.0)4.1 (0.5)4.3 (0.5)4.4 (0.5)4.4 (0.5)4.5 (0.5)4.4 (0.5)15/15
ad-CMA-ES Gissler 3.9 (1)4.5 (0.7)4.7 (0.6)4.8 (0.6)4.8 (0.6)4.8 (0.6)4.8 (0.6)15/15
adm-CMA-ES Gissler 3.9 (1)4.5 (0.8)4.8 (0.8)4.8 (0.7)4.8 (0.7)4.8 (0.7)4.8 (0.7)15/15
c-CMA-ES Gissler 5.8 (1)6.8 (0.5)7.5 (0.4)7.8 (0.4)8.0 (0.4)8.1 (0.4)8.0 (0.4)15/15
cd-CMA-ES Gissler 5.8 (1)7.7 (5)8.3 (5)8.7 (4)8.8 (4)8.9 (4)8.8 (4)15/15
cdm-CMA-ES Gissler 5.5 (1)6.0 (0.8)6.8 (0.9)7.2 (0.9)7.4 (1.0)7.4 (1.0)7.4 (0.9)15/15
cma-bp-bbob Brockhoff 3.8 (0.9)5.3 (4)5.6 (3)5.6 (3)5.7 (3)5.6 (3)5.6 (3)15/15
cma-bt-bbob Brockhoff 3.9 (0.8)4.0 (0.4)4.3 (0.4)4.4 (0.4)4.4 (0.4)4.4 (0.4)4.4 (0.4)15/15
d-CMA-ES Gissler 3.8 (0.7)4.4 (0.4)4.7 (0.4)4.7 (0.4)4.8 (0.4)4.8 (0.4)4.8 (0.3)15/15
default-CMA-ES Gissler 3.8 (0.9)5.3 (4)5.6 (4)5.6 (3)5.7 (3)5.6 (3)5.6 (3)15/15
dm-CMA-ES Gissler 3.7 (0.5)4.0 (0.3)4.3 (0.3)4.4 (0.3)4.4 (0.3)4.5 (0.3)4.5 (0.3)15/15
m-SDWOA Espinoza 1637 (2564)∞∞∞∞∞∞2e50/15
s-CMA-ES Gissler 4.3 (1)5.6 (4)5.8 (4)5.9 (4)5.9 (4)5.8 (4)5.8 (4)15/15
sc-CMA-ES Gissler 6.8 (1)7.9 (0.8)8.4 (0.8)8.7 (0.8)8.8 (0.8)8.7 (0.7)8.6 (0.7)15/15
scd-CMA-ES Gissler 6.0 (2)8.0 (5)8.6 (5)8.9 (5)9.0 (5)8.9 (5)8.8 (4)15/15
scdm-CMA-ES Gissler 6.4 (1)7.6 (0.6)8.3 (0.6)8.6 (0.5)8.7 (0.5)8.6 (0.5)8.5 (0.5)15/15
sd-CMA-ES Gissler 4.3 (1)4.7 (0.8)4.9 (0.7)5.0 (0.7)5.0 (0.7)5.0 (0.7)5.0 (0.7)15/15
sdm-CMA-ES Gissler 4.3 (0.7)4.8 (0.4)5.1 (0.3)5.1 (0.3)5.1 (0.3)5.1 (0.3)5.1 (0.3)15/15

Δ fopt
f10, 20-D		 1e1
7413		 1e0
8661		 1e-1
10735		 1e-2
13641		 1e-3
14920		 1e-5
17073		 1e-7
17476		 #succ
15/15
BIRMIN Kudela 10 (3)8.7 (2)7.1 (2)12 (37)11 (34)162 (146)∞1e60/15
DIRECT-REV Kudela 0.15 (0.1)↑018 (58)14 (47)11 (37)10 (34)234 (308)∞1e60/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela ∞∞∞∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 1.1 (0.1)1.1 (0.2)1.1 (0.1)0.88 (0.1)↑00.83 (0.0)↑00.76 (0.0)↑00.77 (0.0)↑015/15
ad-CMA-ES Gissler 1.1 (0.1)1.1 (0.1)1.0 (0.1)0.87 (0.0)↑00.83 (0.0)↑00.77 (0.0)↑00.78 (0.0)↑015/15
adm-CMA-ES Gissler 1.1 (0.2)1.2 (0.2)1.1 (0.1)0.88 (0.1)↑00.83 (0.0)↑00.77 (0.0)↑00.78 (0.0)↑015/15
c-CMA-ES Gissler 1.5 (0.2)1.5 (0.1)1.3 (0.1)1.1 (0.1)1.1 (0.1)0.99 (0.0)1.0 (0.0)15/15
cd-CMA-ES Gissler 1.5 (0.1)1.5 (0.2)1.3 (0.1)1.1 (0.1)1.0 (0.1)0.96 (0.1)0.98 (0.1)15/15
cdm-CMA-ES Gissler 1.5 (0.2)1.5 (0.2)1.3 (0.1)1.1 (0.1)1.0 (0.1)0.97 (0.0)0.99 (0.0)15/15
cma-bp-bbob Brockhoff 1.1 (0.1)1.1 (0.1)1.0 (0.1)0.87 (0.1)↑00.82 (0.0)↑00.76 (0.0)↑00.77 (0.0)↑015/15
cma-bt-bbob Brockhoff 1.6 (0.6)1.6 (0.5)1.3 (0.3)1.1 (0.3)1.0 (0.2)0.95 (0.2)0.96 (0.2)15/15
d-CMA-ES Gissler 1.1 (0.1)1.2 (0.1)1.0 (0.1)0.85 (0.1)↑00.81 (0.0)↑00.74 (0.0)↑00.76 (0.0)↑015/15
default-CMA-ES Gissler 1.1 (0.2)1.1 (0.2)1.00 (0.1)0.83 (0.1)↑00.79 (0.1)↑00.73 (0.0)↑00.75 (0.0)↑015/15
dm-CMA-ES Gissler 1.2 (0.2)1.1 (0.1)1.0 (0.1)0.84 (0.1)↑00.79 (0.0)↑00.74 (0.0)↑00.76 (0.0)↑015/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞2e50/15
s-CMA-ES Gissler 1.3 (0.2)1.4 (0.2)1.3 (0.2)1.0 (0.1)0.98 (0.1)0.90 (0.1)↑10.92 (0.1)↑115/15
sc-CMA-ES Gissler 1.7 (0.3)1.8 (0.3)1.6 (0.3)1.4 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)15/15
scd-CMA-ES Gissler 1.7 (0.2)1.8 (0.2)1.6 (0.2)1.4 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)15/15
scdm-CMA-ES Gissler 1.7 (0.2)1.8 (0.2)1.6 (0.1)1.4 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)15/15
sd-CMA-ES Gissler 1.4 (0.3)1.4 (0.2)1.2 (0.2)0.99 (0.1)0.94 (0.1)0.88 (0.1)↑00.89 (0.1)↑015/15
sdm-CMA-ES Gissler 1.4 (0.4)1.5 (0.3)1.3 (0.2)1.1 (0.1)0.99 (0.1)0.90 (0.1)↑10.92 (0.1)↑115/15

Δ fopt
f11, 20-D		 1e1
1002		 1e0
2228		 1e-1
6278		 1e-2
8586		 1e-3
9762		 1e-5
12285		 1e-7
14831		 #succ
15/15
BIRMIN Kudela 0.27 (0.1)↑00.21 (0.0)↑00.10 (0.0)↑00.10 (0.0)↑00.12 (0.0)↑0529 (509)∞1e60/15
DIRECT-REV Kudela 0.27 (0.1)↑00.20 (0.0)↑00.10 (0.0)↑00.10 (0.0)↑00.12 (0.0)↑01140 (895)∞1e60/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 253 (183)275 (124)241 (168)1720 (1835)∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 4.1 (0.3)2.1 (0.1)0.83 (0.1)↑00.66 (0.0)↑00.62 (0.0)↑00.54 (0.0)↑00.49 (0.0)↑015/15
ad-CMA-ES Gissler 4.1 (0.4)2.1 (0.1)0.83 (0.1)↑00.66 (0.0)↑00.62 (0.0)↑00.54 (0.0)↑00.49 (0.0)↑015/15
adm-CMA-ES Gissler 4.1 (0.3)2.1 (0.2)0.84 (0.0)↑00.66 (0.0)↑00.62 (0.0)↑00.55 (0.0)↑00.49 (0.0)↑015/15
c-CMA-ES Gissler 4.4 (0.2)2.2 (0.1)0.84 (0.0)↑00.66 (0.0)↑00.62 (0.0)↑00.55 (0.0)↑00.50 (0.0)↑015/15
cd-CMA-ES Gissler 4.5 (0.3)2.2 (0.1)0.86 (0.0)↑00.67 (0.0)↑00.63 (0.0)↑00.56 (0.0)↑00.51 (0.0)↑015/15
cdm-CMA-ES Gissler 4.6 (0.2)2.3 (0.1)0.88 (0.1)↑00.69 (0.0)↑00.65 (0.0)↑00.57 (0.0)↑00.52 (0.0)↑015/15
cma-bp-bbob Brockhoff 4.2 (0.3)2.2 (0.2)0.85 (0.1)↑00.67 (0.0)↑00.62 (0.0)↑00.55 (0.0)↑00.50 (0.0)↑015/15
cma-bt-bbob Brockhoff 7.4 (2)4.4 (2)1.6 (0.7)1.3 (0.5)1.1 (0.4)0.96 (0.3)0.84 (0.3)15/15
d-CMA-ES Gissler 4.2 (0.5)2.2 (0.2)0.84 (0.1)↑00.66 (0.0)↑00.62 (0.0)↑00.54 (0.0)↑00.50 (0.0)↑015/15
default-CMA-ES Gissler 4.4 (0.4)2.2 (0.1)0.85 (0.1)↑00.67 (0.0)↑00.62 (0.0)↑00.55 (0.0)↑00.49 (0.0)↑015/15
dm-CMA-ES Gissler 4.5 (0.2)2.3 (0.1)0.87 (0.0)↑00.69 (0.0)↑00.64 (0.0)↑00.57 (0.0)↑00.51 (0.0)↑015/15
m-SDWOA Espinoza 472 (477)∞∞∞∞∞∞2e50/15
s-CMA-ES Gissler 4.4 (0.3)2.2 (0.2)0.87 (0.1)↑00.69 (0.1)↑00.64 (0.1)↑00.57 (0.0)↑00.51 (0.0)↑015/15
sc-CMA-ES Gissler 4.7 (0.6)2.3 (0.3)0.89 (0.1)0.70 (0.1)↑00.65 (0.1)↑00.57 (0.1)↑00.52 (0.0)↑015/15
scd-CMA-ES Gissler 4.5 (0.4)2.3 (0.2)0.88 (0.1)↑10.69 (0.0)↑00.64 (0.0)↑00.56 (0.0)↑00.52 (0.0)↑015/15
scdm-CMA-ES Gissler 4.4 (0.3)2.3 (0.2)0.87 (0.0)↑00.68 (0.0)↑00.63 (0.0)↑00.56 (0.0)↑00.51 (0.0)↑015/15
sd-CMA-ES Gissler 4.3 (0.4)2.2 (0.2)0.85 (0.1)↑10.68 (0.1)↑00.64 (0.1)↑00.56 (0.1)↑00.51 (0.0)↑015/15
sdm-CMA-ES Gissler 4.3 (0.4)2.2 (0.2)0.87 (0.1)↑10.69 (0.1)↑00.65 (0.1)↑00.58 (0.1)↑00.53 (0.0)↑015/15

Δ fopt
f12, 20-D		 1e1
1042		 1e0
1938		 1e-1
2740		 1e-2
3156		 1e-3
4140		 1e-5
12407		 1e-7
13827		 #succ
15/15
BIRMIN Kudela 1.2 (0.6)130 (258)418 (639)363 (634)363 (423)323 (423)1013 (886)0/15
DIRECT-REV Kudela 1.2 (0.7)14 (15)156 (226)146 (175)111 (181)63 (68)154 (132)1/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 246 (66)550 (613)869 (727)∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 1.7 (0.2)2.0 (2)2.4 (2)2.7 (1)2.5 (0.8)1.1 (0.2)1.2 (0.2)15/15
ad-CMA-ES Gissler 3.0 (2)3.8 (3)3.9 (2)3.9 (2)3.4 (1)1.4 (0.5)1.5 (0.5)15/15
adm-CMA-ES Gissler 2.7 (2)2.9 (3)3.2 (2)3.5 (2)3.1 (1)1.3 (0.4)1.4 (0.4)15/15
c-CMA-ES Gissler 3.1 (0.2)5.5 (7)7.2 (7)8.8 (5)7.9 (4)3.5 (1)3.7 (0.9)15/15
cd-CMA-ES Gissler 4.9 (7)8.7 (8)9.1 (8)10 (6)8.9 (4)3.8 (1)3.9 (1)15/15
cdm-CMA-ES Gissler 2.8 (0.1)5.8 (6)7.8 (6)9.1 (4)8.1 (3)3.6 (0.8)3.8 (0.7)15/15
cma-bp-bbob Brockhoff 2.6 (2)3.5 (3)4.0 (2)4.2 (2)3.7 (1)1.5 (0.5)1.6 (0.4)15/15
cma-bt-bbob Brockhoff 3.3 (3)3.3 (3)3.7 (2)3.9 (2)3.5 (1)1.5 (0.3)1.5 (0.3)15/15
d-CMA-ES Gissler 2.7 (0.1)3.1 (2)3.4 (2)3.8 (2)3.4 (1)1.4 (0.5)1.5 (0.4)15/15
default-CMA-ES Gissler 2.8 (3)2.2 (2)2.6 (2)2.9 (2)2.8 (1)1.2 (0.4)1.3 (0.3)15/15
dm-CMA-ES Gissler 2.8 (0.1)2.8 (2)3.2 (3)3.6 (2)3.3 (2)1.4 (0.5)1.4 (0.4)15/15
m-SDWOA Espinoza 96 (147)171 (208)487 (547)901 (935)∞∞∞2e50/15
s-CMA-ES Gissler 2.5 (2)2.8 (2)3.5 (2)3.7 (2)3.3 (1)1.4 (0.5)1.5 (0.5)15/15
sc-CMA-ES Gissler 5.7 (8)8.5 (8)9.0 (8)9.5 (6)8.2 (4)3.5 (2)3.6 (1)15/15
scd-CMA-ES Gissler 4.1 (5)5.7 (7)7.1 (6)7.7 (6)7.2 (4)3.1 (1)3.2 (0.9)15/15
scdm-CMA-ES Gissler 3.1 (3)7.0 (6)9.0 (4)9.2 (4)8.0 (3)3.4 (1)3.4 (1)15/15
sd-CMA-ES Gissler 3.1 (3)3.2 (3)3.5 (3)3.8 (2)3.4 (1)1.4 (0.4)1.4 (0.4)15/15
sdm-CMA-ES Gissler 3.5 (4)3.3 (4)3.8 (3)4.0 (3)3.6 (2)1.5 (0.7)1.5 (0.6)15/15

Δ fopt
f13, 20-D		 1e1
652		 1e0
2021		 1e-1
2751		 1e-2
3507		 1e-3
18749		 1e-5
24455		 1e-7
30201		 #succ
15/15
BIRMIN Kudela 0.94 (0.5)248 (619)319 (454)326 (570)147 (173)∞∞1e60/15
DIRECT-REV Kudela 0.69 (0.2)↑1248 (495)352 (545)1141 (1640)747 (960)∞∞1e60/15
E-WOA Espinoza 817 (995)∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 243 (92)657 (556)1702 (1863)∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 2.8 (0.4)4.7 (3)6.2 (2)5.3 (2)1.0 (0.4)1.3 (0.7)1.8 (2)15/15
ad-CMA-ES Gissler 4.2 (3)3.3 (3)4.1 (2)4.1 (2)0.81 (0.4)1.1 (0.5)1.0 (0.4)15/15
adm-CMA-ES Gissler 3.2 (3)3.0 (3)4.3 (3)5.1 (2)1.1 (0.4)1.3 (0.5)1.4 (0.9)15/15
c-CMA-ES Gissler 4.8 (7)4.5 (4)6.2 (4)6.8 (3)1.7 (0.6)1.8 (0.6)1.8 (0.5)15/15
cd-CMA-ES Gissler 4.5 (6)5.8 (5)7.6 (3)7.3 (3)1.5 (0.6)1.7 (0.5)2.0 (0.7)15/15
cdm-CMA-ES Gissler 5.6 (9)4.5 (5)5.9 (4)6.6 (4)1.8 (0.5)1.8 (0.6)1.9 (1.0)15/15
cma-bp-bbob Brockhoff 3.2 (3)3.3 (2)3.6 (2)3.5 (2)0.72 (0.4)1.3 (0.9)1.4 (0.5)15/15
cma-bt-bbob Brockhoff 3.8 (3)2.6 (2)4.5 (3)4.4 (2)0.93 (0.4)1.1 (0.7)1.2 (0.6)15/15
d-CMA-ES Gissler 3.1 (0.4)3.2 (3)4.3 (2)3.6 (2)0.73 (0.3)1.0 (0.5)1.2 (0.6)15/15
default-CMA-ES Gissler 2.3 (0.3)2.7 (2)4.0 (3)4.0 (2)1.0 (0.6)1.2 (0.6)1.4 (0.5)15/15
dm-CMA-ES Gissler 3.5 (3)3.5 (3)3.0 (2)3.1 (2)0.85 (0.4)1.1 (0.6)1.4 (0.7)15/15
m-SDWOA Espinoza 85 (154)132 (176)505 (849)∞∞∞∞2e50/15
s-CMA-ES Gissler 2.9 (0.4)5.5 (4)6.1 (3)6.3 (2)1.3 (0.4)1.3 (0.4)1.7 (0.6)15/15
sc-CMA-ES Gissler 6.8 (10)3.5 (3)7.5 (6)8.8 (2)1.7 (0.4)1.6 (0.4)1.8 (0.8)15/15
scd-CMA-ES Gissler 4.4 (7)6.2 (5)7.6 (4)7.0 (5)1.5 (0.6)1.6 (0.4)1.6 (0.5)15/15
scdm-CMA-ES Gissler 5.0 (10)5.4 (5)6.6 (5)7.5 (4)1.8 (0.5)1.7 (0.5)1.9 (0.7)15/15
sd-CMA-ES Gissler 3.4 (3)4.3 (3)6.0 (2)5.2 (2)1.0 (0.5)1.2 (0.4)1.5 (0.9)15/15
sdm-CMA-ES Gissler 3.5 (4)4.9 (3)5.8 (2)5.3 (2)1.1 (0.3)1.4 (0.6)1.8 (1.0)15/15

Δ fopt
f14, 20-D		 1e1
75		 1e0
239		 1e-1
304		 1e-2
451		 1e-3
932		 1e-5
1648		 1e-7
15661		 #succ
15/15
BIRMIN Kudela 3.8 (1)3.1 (0.7)3.7 (0.7)3.6 (0.7)2.3 (0.3)∞∞1e60/15
DIRECT-REV Kudela 3.1 (1)2.8 (0.7)3.4 (0.5)3.4 (0.6)2.3 (0.3)3946 (5613)∞1e60/15
E-WOA Espinoza 48 (31)83 (30)153 (50)339 (66)∞∞∞2e50/15
I-DBDP-GL Kudela 20 (9)44 (15)103 (51)252 (130)499 (220)∞∞1e60/15
WOA Espinoza 62 (33)∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 2.3 (1)2.0 (0.3)2.7 (0.4)3.2 (0.4)2.8 (0.3)3.5 (0.3)0.64 (0.1)↑015/15
ad-CMA-ES Gissler 2.1 (0.9)2.1 (0.3)3.0 (0.3)3.4 (0.3)2.8 (0.2)3.7 (0.3)0.65 (0.1)↑015/15
adm-CMA-ES Gissler 2.9 (0.8)2.4 (0.4)3.0 (0.3)3.5 (0.5)2.9 (0.2)3.6 (0.2)0.67 (0.1)↑015/15
c-CMA-ES Gissler 2.9 (0.9)2.5 (0.5)3.3 (0.5)3.9 (0.5)3.4 (0.2)4.7 (0.2)0.84 (0.0)↑015/15
cd-CMA-ES Gissler 2.6 (1)2.6 (0.5)3.5 (0.3)4.1 (0.7)3.4 (0.3)4.7 (0.3)0.82 (0.1)↑015/15
cdm-CMA-ES Gissler 3.0 (1)2.6 (0.5)3.7 (0.4)4.1 (0.4)3.5 (0.4)4.7 (0.2)0.84 (0.0)↑015/15
cma-bp-bbob Brockhoff 2.4 (1)2.3 (0.4)3.3 (0.4)3.7 (0.4)3.0 (0.2)3.8 (0.2)0.66 (0.0)↑015/15
cma-bt-bbob Brockhoff 3.0 (1)2.9 (0.7)3.7 (0.4)4.0 (0.6)3.3 (0.2)3.9 (0.2)0.69 (0.0)↑015/15
d-CMA-ES Gissler 3.2 (1)2.5 (0.6)3.4 (0.7)3.9 (0.6)3.2 (0.4)4.0 (0.3)0.66 (0.0)↑015/15
default-CMA-ES Gissler 2.5 (1)2.3 (0.3)3.2 (0.5)3.6 (0.4)3.1 (0.4)3.7 (0.3)0.67 (0.1)↑015/15
dm-CMA-ES Gissler 2.6 (2)2.5 (0.5)3.4 (0.4)3.8 (0.4)3.2 (0.3)3.8 (0.2)0.67 (0.0)↑015/15
m-SDWOA Espinoza 21 (8)27 (7)35 (7)45 (14)126 (135)∞∞2e50/15
s-CMA-ES Gissler 3.4 (1)2.5 (0.9)3.4 (0.9)3.9 (0.7)3.1 (0.6)3.7 (0.4)0.71 (0.1)↑015/15
sc-CMA-ES Gissler 3.6 (2)2.7 (0.7)3.6 (0.6)3.9 (0.5)3.5 (0.5)4.7 (0.3)0.87 (0.1)↑015/15
scd-CMA-ES Gissler 3.4 (2)2.7 (0.6)3.6 (0.8)4.0 (0.7)3.4 (0.5)4.8 (0.4)0.89 (0.1)↑015/15
scdm-CMA-ES Gissler 3.1 (1)2.6 (0.7)3.6 (0.5)3.9 (0.7)3.3 (0.4)4.5 (0.5)0.86 (0.1)↑015/15
sd-CMA-ES Gissler 4.0 (3)2.7 (0.8)3.5 (0.8)3.9 (0.7)3.2 (0.3)3.8 (0.3)0.71 (0.1)↑015/15
sdm-CMA-ES Gissler 2.8 (2)2.6 (0.8)3.4 (0.6)3.8 (0.8)3.0 (0.2)3.6 (0.3)0.72 (0.1)↑015/15

Δ fopt
f15, 20-D		 1e1
30378		 1e0
1.5e5		 1e-1
3.1e5		 1e-2
3.2e5		 1e-3
3.2e5		 1e-5
4.5e5		 1e-7
4.6e5		 #succ
15/15
BIRMIN Kudela ∞∞∞∞∞∞∞1e60/15
DIRECT-REV Kudela ∞∞∞∞∞∞∞1e60/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 69 (56)∞∞∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 0.78 (0.3)0.90 (0.6)0.54 (0.2)↑00.55 (0.2)↑00.55 (0.2)↑00.41 (0.1)↑00.42 (0.1)↑015/15
ad-CMA-ES Gissler 0.85 (0.3)0.84 (0.3)0.58 (0.3)↑00.59 (0.3)↑00.59 (0.4)↑00.44 (0.3)↑00.45 (0.3)↑015/15
adm-CMA-ES Gissler 0.84 (0.4)0.91 (0.3)0.56 (0.3)↑00.57 (0.3)↑00.57 (0.3)↑00.43 (0.2)↑00.44 (0.2)↑015/15
c-CMA-ES Gissler 0.86 (0.3)1.2 (0.7)0.78 (0.2)0.79 (0.2)0.79 (0.2)0.59 (0.2)↑10.60 (0.2)↑115/15
cd-CMA-ES Gissler 1.3 (0.5)1.2 (0.8)0.72 (0.4)0.73 (0.4)0.73 (0.4)0.55 (0.3)↑00.56 (0.3)↑015/15
cdm-CMA-ES Gissler 1.1 (0.4)1.3 (0.8)0.91 (0.3)0.92 (0.3)0.92 (0.3)0.68 (0.2)↑10.69 (0.2)↑114/15
cma-bp-bbob Brockhoff 0.98 (0.5)1.3 (0.7)1.4 (1)1.4 (2)1.7 (2)2.0 (2)2.0 (2)3/15
cma-bt-bbob Brockhoff 1.2 (0.8)20 (26)∞∞∞∞∞2e50/15
d-CMA-ES Gissler 0.96 (0.7)0.98 (0.4)0.63 (0.2)↑10.64 (0.2)↑10.65 (0.2)↑10.48 (0.1)↑00.49 (0.1)↑015/15
default-CMA-ES Gissler 0.75 (0.6)1.2 (0.4)0.71 (0.4)0.71 (0.4)0.72 (0.4)0.53 (0.3)↑00.54 (0.3)↑015/15
dm-CMA-ES Gissler 0.98 (0.7)1.7 (1)0.93 (0.8)0.94 (0.9)0.94 (0.7)0.69 (0.5)0.69 (0.7)12/15
m-SDWOA Espinoza 49 (41)∞∞∞∞∞∞2e50/15
s-CMA-ES Gissler 0.86 (0.4)1.0 (0.8)0.71 (0.3)0.72 (0.3)0.73 (0.3)0.54 (0.3)↑00.55 (0.3)↑015/15
sc-CMA-ES Gissler 0.97 (0.6)1.0 (0.4)0.77 (0.4)0.77 (0.4)0.78 (0.4)0.58 (0.3)↑10.58 (0.3)↑115/15
scd-CMA-ES Gissler 1.3 (0.5)1.4 (0.4)0.77 (0.4)0.78 (0.4)0.79 (0.4)0.58 (0.3)↑00.59 (0.3)↑015/15
scdm-CMA-ES Gissler 1.1 (0.7)1.3 (0.7)0.95 (0.3)0.96 (0.3)0.96 (0.3)0.71 (0.2)↑10.72 (0.2)↑115/15
sd-CMA-ES Gissler 0.96 (0.2)1.3 (0.8)0.82 (0.3)0.82 (0.3)0.83 (0.3)0.62 (0.2)↑00.63 (0.2)↑015/15
sdm-CMA-ES Gissler 0.97 (0.6)1.0 (0.5)0.90 (0.7)0.90 (0.7)0.91 (0.7)0.67 (0.5)0.68 (0.5)14/15

Δ fopt
f16, 20-D		 1e1
1384		 1e0
27265		 1e-1
77015		 1e-2
1.4e5		 1e-3
1.9e5		 1e-5
2.0e5		 1e-7
2.2e5		 #succ
15/15
BIRMIN Kudela 48 (54)∞∞∞∞∞∞1e60/15
DIRECT-REV Kudela 9.3 (6)99 (76)∞∞∞∞∞1e60/15
E-WOA Espinoza 597 (939)∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 8.6 (3)3.8 (2)19 (16)106 (68)∞∞∞1e60/15
WOA Espinoza 946 (1084)∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 1.0 (0.3)0.58 (0.4)↑00.53 (0.2)↑10.51 (0.2)↑10.46 (0.2)↑10.56 (0.4)0.52 (0.4)↑115/15
ad-CMA-ES Gissler 0.96 (0.3)0.53 (0.4)↑00.62 (0.4)0.74 (1)0.76 (1)0.82 (1)0.76 (0.9)15/15
adm-CMA-ES Gissler 0.92 (0.2)0.47 (0.4)↑00.41 (0.3)↑10.61 (0.6)0.48 (0.4)0.59 (0.4)0.57 (0.4)15/15
c-CMA-ES Gissler 2.0 (1)1.3 (1)1.1 (0.7)0.85 (0.9)0.98 (0.7)1.1 (0.6)1.1 (0.6)15/15
cd-CMA-ES Gissler 3.3 (5)0.95 (0.7)0.95 (0.8)0.93 (0.8)0.90 (0.7)1.0 (1)1.0 (1.0)15/15
cdm-CMA-ES Gissler 1.8 (0.9)1.0 (0.5)0.94 (0.6)0.95 (0.7)1.1 (1)1.2 (0.9)1.1 (0.8)15/15
cma-bp-bbob Brockhoff 1.2 (0.3)0.30 (0.2)↑00.66 (0.5)0.74 (0.6)1.0 (1)2.0 (3)1.8 (2)6/15
cma-bt-bbob Brockhoff 4.1 (3)0.58 (0.4)↑11.2 (1)2.0 (1)2.1 (3)2.6 (3)2.4 (2)5/15
d-CMA-ES Gissler 1.6 (0.7)0.88 (0.7)1.1 (0.7)0.95 (0.9)0.96 (0.6)0.95 (0.6)0.89 (0.6)15/15
default-CMA-ES Gissler 1.9 (0.8)0.65 (0.6)0.65 (0.4)↑10.81 (0.8)1.2 (1)1.1 (1)1.1 (1)15/15
dm-CMA-ES Gissler 1.6 (0.6)0.94 (0.8)0.97 (0.7)0.78 (0.3)0.89 (0.5)0.95 (0.6)0.92 (0.5)15/15
m-SDWOA Espinoza 143 (101)∞∞∞∞∞∞2e50/15
s-CMA-ES Gissler 2.0 (1)1.0 (0.8)1.00 (0.8)0.84 (0.5)0.96 (0.6)1.1 (1.0)1.1 (0.9)15/15
sc-CMA-ES Gissler 3.2 (4)1.1 (0.5)0.82 (0.5)1.1 (0.9)1.4 (0.9)1.4 (0.9)1.3 (0.8)15/15
scd-CMA-ES Gissler 2.2 (0.9)0.86 (0.4)0.94 (0.6)0.78 (0.5)1.4 (1)1.5 (1)1.4 (1)15/15
scdm-CMA-ES Gissler 3.2 (1)1.1 (0.5)1.2 (0.7)0.96 (0.9)1.2 (1)1.2 (1)1.1 (0.9)15/15
sd-CMA-ES Gissler 2.7 (2)0.98 (1.0)1.0 (0.7)0.95 (0.9)1.0 (0.8)1.2 (0.6)1.2 (0.6)15/15
sdm-CMA-ES Gissler 2.6 (1)1.0 (1)1.1 (0.8)0.68 (0.4)0.75 (0.6)0.90 (0.5)0.85 (0.4)15/15

Δ fopt
f17, 20-D		 1e1
63		 1e0
1030		 1e-1
4005		 1e-2
12242		 1e-3
30677		 1e-5
56288		 1e-7
80472		 #succ
15/15
BIRMIN Kudela 12 (25)46 (44)1771 (1326)∞∞∞∞1e60/15
DIRECT-REV Kudela 21 (27)25 (9)320 (346)∞∞∞∞1e60/15
E-WOA Espinoza 30 (27)∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 5.0 (6)26 (12)64 (63)275 (302)∞∞∞1e60/15
WOA Espinoza 295 (436)∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 1.2 (0.8)0.87 (0.4)1.5 (2)1.4 (1)0.95 (0.6)0.86 (0.2)0.80 (0.0)↑115/15
ad-CMA-ES Gissler 1.0 (0.9)0.93 (0.3)2.1 (2)1.3 (0.7)0.95 (0.6)0.98 (0.3)0.87 (0.6)15/15
adm-CMA-ES Gissler 1.1 (0.9)0.88 (0.5)1.5 (1)1.1 (1.0)0.93 (0.7)0.79 (0.3)0.85 (0.5)15/15
c-CMA-ES Gissler 1.3 (1)0.90 (0.3)1.0 (2)1.4 (1)0.98 (0.9)1.0 (0.3)1.1 (0.7)15/15
cd-CMA-ES Gissler 1.1 (1)0.94 (0.3)1.1 (2)1.3 (0.8)1.1 (0.9)1.0 (0.4)1.1 (0.1)15/15
cdm-CMA-ES Gissler 1.4 (1)0.96 (0.3)0.96 (2)1.2 (0.7)0.87 (0.4)0.77 (0.2)↑10.91 (0.3)15/15
cma-bp-bbob Brockhoff 0.98 (0.6)0.90 (0.3)1.1 (2)1.1 (0.7)0.76 (0.3)0.77 (0.0)↑10.78 (0.3)15/15
cma-bt-bbob Brockhoff 0.97 (0.6)1.1 (0.2)2.0 (2)1.6 (0.5)1.0 (0.9)1.1 (0.4)0.98 (0.3)15/15
d-CMA-ES Gissler 1.3 (0.9)0.85 (0.2)0.74 (0.1)↑10.97 (0.8)0.91 (0.6)0.95 (0.4)0.89 (0.3)15/15
default-CMA-ES Gissler 1.2 (1)0.96 (0.4)1.2 (2)0.98 (0.7)0.73 (0.3)0.88 (0.3)0.85 (0.2)15/15
dm-CMA-ES Gissler 1.1 (0.7)0.89 (0.2)1.2 (2)1.0 (0.7)0.81 (0.4)0.79 (0.5)0.95 (0.3)15/15
m-SDWOA Espinoza 8.0 (6)10 (2)6.7 (2)8.3 (9)15 (21)∞∞2e50/15
s-CMA-ES Gissler 1.7 (1)0.98 (0.3)0.93 (1)0.80 (0.5)0.67 (0.3)0.91 (0.3)0.89 (0.3)15/15
sc-CMA-ES Gissler 1.7 (2)1.1 (0.4)1.1 (2)1.3 (1)0.89 (0.4)0.84 (0.3)1.0 (0.3)15/15
scd-CMA-ES Gissler 1.5 (1)1.0 (0.2)1.8 (1)1.1 (0.6)0.89 (0.4)0.93 (0.4)0.90 (0.3)15/15
scdm-CMA-ES Gissler 1.5 (2)1.1 (0.4)1.8 (2)1.4 (0.2)0.86 (0.4)0.82 (0.1)↑10.86 (0.3)15/15
sd-CMA-ES Gissler 1.3 (1)0.97 (0.3)0.78 (0.2)↑11.1 (0.6)0.72 (0.4)0.82 (0.4)0.84 (0.3)15/15
sdm-CMA-ES Gissler 1.2 (1)1.0 (0.4)0.83 (0.4)1.0 (0.6)0.80 (0.4)0.82 (0.3)0.96 (0.3)15/15

Δ fopt
f18, 20-D		 1e1
621		 1e0
3972		 1e-1
19561		 1e-2
28555		 1e-3
67569		 1e-5
1.3e5		 1e-7
1.5e5		 #succ
15/15
BIRMIN Kudela 12 (4)71 (68)∞∞∞∞∞1e60/15
DIRECT-REV Kudela 14 (4)43 (27)764 (741)∞∞∞∞1e60/15
E-WOA Espinoza 4534 (3945)∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 13 (7)28 (18)77 (91)∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 0.72 (0.2)↑10.95 (1)0.69 (0.6)1.3 (0.5)0.89 (0.5)0.75 (0.2)↑00.78 (0.2)↑015/15
ad-CMA-ES Gissler 0.78 (0.3)0.97 (1)0.87 (0.4)1.1 (0.1)0.78 (0.2)↑10.79 (0.3)0.82 (0.3)↑015/15
adm-CMA-ES Gissler 0.78 (0.3)1.1 (1)1.2 (0.5)1.2 (0.7)0.72 (0.2)↑10.76 (0.4)↑10.83 (0.3)↑115/15
c-CMA-ES Gissler 0.89 (0.4)0.50 (0.2)↑00.72 (0.5)1.3 (0.9)0.85 (0.2)0.81 (0.5)0.86 (0.4)15/15
cd-CMA-ES Gissler 1.0 (0.4)1.4 (2)0.95 (0.9)1.3 (0.5)0.82 (0.3)0.70 (0.2)↑10.75 (0.6)15/15
cdm-CMA-ES Gissler 0.86 (0.2)1.1 (2)0.80 (0.5)1.1 (0.5)0.85 (0.3)0.84 (0.5)0.91 (0.4)15/15
cma-bp-bbob Brockhoff 0.85 (0.3)0.90 (2)0.87 (0.8)1.3 (0.4)0.80 (0.3)0.72 (0.5)0.76 (0.4)14/15
cma-bt-bbob Brockhoff 0.96 (0.2)0.97 (0.1)↑11.2 (1.0)3.4 (4)2.3 (2)2.1 (3)2.0 (3)7/15
d-CMA-ES Gissler 0.89 (0.4)1.3 (2)1.00 (1.0)1.2 (0.5)0.99 (1.0)0.86 (0.4)0.90 (0.4)15/15
default-CMA-ES Gissler 0.86 (0.3)0.73 (0.1)↑10.87 (0.8)1.3 (0.8)0.86 (0.3)0.82 (0.4)0.79 (0.3)15/15
dm-CMA-ES Gissler 0.82 (0.2)0.43 (0.1)↑00.86 (0.9)1.5 (0.9)0.90 (0.3)0.81 (0.5)0.87 (0.4)15/15
m-SDWOA Espinoza 7.6 (3)5.3 (2)5.2 (6)48 (44)∞∞∞2e50/15
s-CMA-ES Gissler 0.85 (0.2)0.75 (0.4)0.75 (0.7)1.0 (0.4)0.65 (0.4)0.72 (0.5)0.92 (0.4)15/15
sc-CMA-ES Gissler 1.1 (0.5)1.0 (2)0.93 (0.8)1.2 (0.4)0.79 (0.3)0.96 (0.6)0.92 (0.5)15/15
scd-CMA-ES Gissler 0.97 (0.3)1.5 (2)0.75 (0.4)1.3 (0.4)0.75 (0.3)0.74 (0.6)0.89 (0.6)15/15
scdm-CMA-ES Gissler 1.1 (0.6)1.2 (2)0.71 (0.4)↑01.2 (0.5)0.77 (0.4)0.82 (0.6)0.83 (0.4)15/15
sd-CMA-ES Gissler 1.1 (0.3)0.79 (0.4)0.77 (0.4)↑11.2 (1)0.84 (0.5)0.76 (0.6)0.94 (0.4)15/15
sdm-CMA-ES Gissler 0.90 (0.3)1.1 (2)0.70 (0.8)1.0 (0.4)0.81 (0.3)0.86 (0.5)0.98 (0.4)15/15

Δ fopt
f19, 20-D		 1e1
1		 1e0
1		 1e-1
3.4e5		 1e-2
4.7e6		 1e-3
6.2e6		 1e-5
6.7e6		 1e-7
6.7e6		 #succ
15/15
BIRMIN Kudela 363 (268)2.8e6 (5e6)∞∞∞∞∞1e60/15
DIRECT-REV Kudela 1 (0)1 (0)2.2 (4)∞∞∞∞1e60/15
E-WOA Espinoza 824 (1622)2.9e6 (4e6)∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 2109 (1259)4.7e5 (4e5)∞∞∞∞∞1e60/15
WOA Espinoza 417 (92)1.3e6 (2e6)∞∞∞∞∞2e50/15
a-CMA-ES Gissler 1 (0)1 (0)1.3 (0.8)0.53 (0.2)↑00.46 (0.2)↑10.47 (0.3)0.47 (0.3)13/15
ad-CMA-ES Gissler 1 (0)1 (0)1.5 (1)0.59 (0.1)↑11.2 (1.0)1.3 (1)1.3 (0.9)6/15
adm-CMA-ES Gissler 1 (0)1 (0)1.4 (1)0.48 (0.2)↑10.42 (0.1)↑10.41 (0.1)↑10.41 (0.1)↑114/15
c-CMA-ES Gissler 1 (0)1 (0)1.6 (0.6)0.71 (0.5)1.2 (1)1.3 (1)1.3 (0.9)6/15
cd-CMA-ES Gissler 1 (0)1 (0)1.8 (1)1.0 (0.6)2.9 (3)4.2 (4)4.2 (5)2/15
cdm-CMA-ES Gissler 1 (0)1 (0)1.4 (1)0.84 (0.6)2.2 (2)2.8 (3)2.8 (2)3/15
cma-bp-bbob Brockhoff 1 (0)1 (0)2.8 (2)∞∞∞∞2e50/15
cma-bt-bbob Brockhoff 1 (0)1 (0)8.5 (9)∞∞∞∞2e50/15
d-CMA-ES Gissler 1 (0)1 (0)1.5 (0.7)0.81 (1)0.91 (1.0)1.2 (1)1.2 (2)7/15
default-CMA-ES Gissler 1 (0)1 (0)1.1 (0.9)0.48 (0.2)↑00.54 (0.3)0.59 (0.4)0.59 (0.4)12/15
dm-CMA-ES Gissler 1 (0)1 (0)1.3 (1.0)0.53 (0.1)↑10.56 (0.4)0.59 (0.3)0.59 (0.6)11/15
m-SDWOA Espinoza 560 (214)7.9e4 (5e4)8.7 (6)∞∞∞∞2e50/15
s-CMA-ES Gissler 1 (0)1 (0)1.1 (0.9)0.55 (0.5)0.80 (0.7)0.76 (0.5)0.76 (0.8)8/15
sc-CMA-ES Gissler 1 (0)1 (0)1.6 (1)1.1 (1)1.4 (1.0)4.3 (4)4.3 (4)2/15
scd-CMA-ES Gissler 1 (0)1 (0)1.5 (0.8)1.2 (1)1.3 (1)1.8 (2)2.2 (1)3/15
scdm-CMA-ES Gissler 1 (0)1 (0)1.4 (0.8)0.74 (0.5)1.3 (0.9)2.9 (2)2.9 (2)3/15
sd-CMA-ES Gissler 1 (0)1 (0)1.6 (0.9)0.63 (0.2)↑10.79 (0.6)1.0 (1)1.4 (1.0)6/15
sdm-CMA-ES Gissler 1 (0)1 (0)1.3 (1)0.53 (0.1)↑10.66 (0.4)1.1 (1)1.3 (0.9)6/15

Δ fopt
f20, 20-D		 1e1
82		 1e0
46150		 1e-1
3.1e6		 1e-2
5.5e6		 1e-3
5.5e6		 1e-5
5.6e6		 1e-7
5.6e6		 #succ
14/15
BIRMIN Kudela 1.6 (0.7)99 (115)∞∞∞∞∞1e60/15
DIRECT-REV Kudela 0.89 (0)★↑0∞∞∞∞∞∞1e60/15
E-WOA Espinoza 73 (28)∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 53 (35)1.9 (2)∞∞∞∞∞1e60/15
WOA Espinoza 249 (119)∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 3.0 (1.0)3.5 (0.2)0.59 (0.3)↑11.4 (2)1.4 (2)1.4 (1)1.4 (2)6/15
ad-CMA-ES Gissler 3.5 (0.4)2.9 (1)7.1 (8)∞∞∞∞3e60/15
adm-CMA-ES Gissler 3.7 (0.8)3.4 (1)0.55 (0.3)↑10.70 (0.5)0.70 (0.5)0.70 (0.7)0.70 (0.8)10/15
c-CMA-ES Gissler 4.1 (1)3.6 (1)3.3 (3)5.0 (7)5.0 (5)5.0 (6)4.9 (7)2/15
cd-CMA-ES Gissler 3.9 (1.0)3.1 (1)∞∞∞∞∞3e60/15
cdm-CMA-ES Gissler 4.4 (1)3.6 (1)2.1 (3)11 (14)10 (11)10 (13)10 (11)1/15
cma-bp-bbob Brockhoff 3.8 (0.7)5.5 (3)∞∞∞∞∞2e50/15
cma-bt-bbob Brockhoff 4.0 (2)6.2 (6)∞∞∞∞∞2e50/15
d-CMA-ES Gissler 4.1 (1)3.6 (3)3.5 (3)8.2 (11)8.2 (9)8.1 (7)8.0 (9)1/15
default-CMA-ES Gissler 3.8 (0.9)4.0 (1)1.0 (0.7)1.5 (1)1.5 (2)1.7 (3)1.7 (2)5/15
dm-CMA-ES Gissler 3.9 (1)4.8 (3)1.6 (2)5.1 (6)5.0 (6)5.0 (6)5.0 (5)2/15
m-SDWOA Espinoza 24 (8)31 (33)∞∞∞∞∞2e50/15
s-CMA-ES Gissler 4.0 (2)3.8 (1)1.3 (1.0)1.4 (2)1.4 (2)2.5 (3)3.3 (4)3/15
sc-CMA-ES Gissler 4.3 (1)3.6 (1)3.2 (4)10 (10)10 (8)10 (11)10 (6)1/15
scd-CMA-ES Gissler 5.0 (1)4.3 (1)∞∞∞∞∞3e60/15
scdm-CMA-ES Gissler 4.4 (1)3.6 (1)1.5 (2)3.3 (4)3.2 (2)3.2 (4)3.2 (3)3/15
sd-CMA-ES Gissler 4.8 (1)4.4 (3)15 (17)∞∞∞∞3e60/15
sdm-CMA-ES Gissler 4.1 (2)4.3 (1)1.1 (1)1.8 (2)1.8 (2)1.8 (3)1.7 (2)5/15

Δ fopt
f21, 20-D		 1e1
561		 1e0
6541		 1e-1
14103		 1e-2
14318		 1e-3
14643		 1e-5
15567		 1e-7
17589		 #succ
15/15
BIRMIN Kudela 3.3 (5)12 (14)18 (21)25 (35)52 (73)79 (71)∞1e60/15
DIRECT-REV Kudela 3.5 (3)25 (29)20 (35)20 (42)20 (35)51 (46)∞1e60/15
E-WOA Espinoza 156 (226)131 (187)203 (259)201 (307)198 (181)∞∞2e50/15
I-DBDP-GL Kudela 8.4 (4)42 (78)71 (79)72 (122)72 (68)73 (103)70 (77)8/15
WOA Espinoza 559 (631)∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 2.9 (4)76 (131)96 (77)95 (135)93 (194)88 (120)78 (109)7/15
ad-CMA-ES Gissler 7.4 (10)52 (93)44 (47)44 (90)43 (43)41 (55)36 (50)10/15
adm-CMA-ES Gissler 4.2 (4)123 (117)168 (188)165 (223)161 (143)152 (155)135 (282)5/15
c-CMA-ES Gissler 3.2 (5)86 (102)89 (139)88 (112)86 (153)81 (120)72 (66)7/15
cd-CMA-ES Gissler 5.7 (5)147 (161)124 (255)123 (169)120 (107)114 (101)101 (131)6/15
cdm-CMA-ES Gissler 18 (13)208 (350)229 (268)225 (365)220 (318)207 (206)184 (216)4/15
cma-bp-bbob Brockhoff 1.4 (1)30 (32)29 (28)29 (46)28 (24)26 (81)23 (32)5/15
cma-bt-bbob Brockhoff 7.9 (24)45 (81)40 (64)39 (53)38 (62)36 (51)32 (54)4/15
d-CMA-ES Gissler 5.3 (5)83 (83)152 (205)149 (147)146 (237)138 (153)122 (197)5/15
default-CMA-ES Gissler 1.6 (4)115 (167)74 (81)73 (103)71 (106)67 (119)60 (66)8/15
dm-CMA-ES Gissler 5.0 (11)92 (273)125 (166)123 (159)120 (219)113 (94)100 (148)6/15
m-SDWOA Espinoza 33 (4)63 (69)58 (53)57 (59)57 (61)55 (58)51 (63)3/15
s-CMA-ES Gissler 4.2 (5)194 (293)213 (328)209 (285)205 (260)193 (227)171 (229)4/15
sc-CMA-ES Gissler 64 (78)152 (263)159 (192)156 (232)153 (219)144 (214)128 (98)5/15
scd-CMA-ES Gissler 2.6 (5)90 (84)118 (112)116 (137)114 (181)107 (188)95 (90)6/15
scdm-CMA-ES Gissler 96 (23)178 (269)229 (392)226 (262)221 (238)208 (338)184 (216)4/15
sd-CMA-ES Gissler 8.0 (12)130 (170)97 (115)95 (101)93 (152)88 (81)78 (123)7/15
sdm-CMA-ES Gissler 18 (23)202 (308)226 (247)223 (268)218 (219)205 (314)181 (246)4/15

Δ fopt
f22, 20-D		 1e1
467		 1e0
5580		 1e-1
23491		 1e-2
24163		 1e-3
24948		 1e-5
26847		 1e-7
1.3e5		 #succ
12/15
BIRMIN Kudela 3.3 (4)49 (87)596 (809)580 (641)∞∞∞1e60/15
DIRECT-REV Kudela 2.9 (3)142 (170)292 (173)284 (372)561 (782)∞∞1e60/15
E-WOA Espinoza 87 (215)60 (136)∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 10 (8)46 (91)600 (575)590 (652)576 (501)558 (550)∞1e60/15
WOA Espinoza 406 (856)∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 106 (389)174 (190)∞∞∞∞∞1e60/15
ad-CMA-ES Gissler 8.5 (13)109 (186)∞∞∞∞∞1e60/15
adm-CMA-ES Gissler 9.3 (23)134 (230)844 (1201)821 (1021)795 (1362)739 (884)147 (163)1/15
c-CMA-ES Gissler 26 (13)121 (189)∞∞∞∞∞1e60/15
cd-CMA-ES Gissler 10 (6)172 (196)∞∞∞∞∞1e60/15
cdm-CMA-ES Gissler 8.8 (14)167 (228)∞∞∞∞∞1e60/15
cma-bp-bbob Brockhoff 16 (28)42 (72)∞∞∞∞∞2e50/15
cma-bt-bbob Brockhoff 33 (6)57 (54)∞∞∞∞∞2e50/15
d-CMA-ES Gissler 185 (106)148 (205)∞∞∞∞∞1e60/15
default-CMA-ES Gissler 171 (24)141 (120)∞∞∞∞∞1e60/15
dm-CMA-ES Gissler 3.2 (6)208 (246)∞∞∞∞∞1e60/15
m-SDWOA Espinoza 77 (215)145 (134)∞∞∞∞∞2e50/15
s-CMA-ES Gissler 1.4 (0.3)140 (334)∞∞∞∞∞1e60/15
sc-CMA-ES Gissler 104 (14)192 (296)∞∞∞∞∞1e60/15
scd-CMA-ES Gissler 8.4 (14)141 (207)∞∞∞∞∞1e60/15
scdm-CMA-ES Gissler 7.1 (14)222 (320)∞∞∞∞∞1e60/15
sd-CMA-ES Gissler 43 (5)180 (193)∞∞∞∞∞1e60/15
sdm-CMA-ES Gissler 45 (27)297 (667)∞∞∞∞∞1e60/15

Δ fopt
f23, 20-D		 1e1
3.0		 1e0
1614		 1e-1
67457		 1e-2
3.7e5		 1e-3
4.9e5		 1e-5
8.1e5		 1e-7
8.4e5		 #succ
15/15
BIRMIN Kudela 4.5 (7)192 (310)∞∞∞∞∞1e60/15
DIRECT-REV Kudela 6.9 (12)124 (310)∞∞∞∞∞1e60/15
E-WOA Espinoza 2.3 (2)879 (833)∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 2.1 (2)29 (8)4.5 (2)∞∞∞∞1e60/15
WOA Espinoza 2.3 (2)830 (769)∞∞∞∞∞2e50/15
a-CMA-ES Gissler 2.1 (2)4.6 (0.6)0.58 (0.5)1.3 (0.5)4.2 (5)2.6 (3)2.5 (5)11/15
ad-CMA-ES Gissler 2.4 (3)5.5 (4)0.49 (0.3)↑13.2 (5)23 (21)14 (21)14 (19)4/15
adm-CMA-ES Gissler 1.5 (2)4.3 (5)0.64 (0.8)0.51 (0.4)5.0 (7)3.1 (3)3.0 (7)10/15
c-CMA-ES Gissler 2.2 (2)1668 (1866)164 (282)∞∞∞∞4e60/15
cd-CMA-ES Gissler 2.0 (2)1339 (2052)69 (134)153 (140)∞∞∞4e60/15
cdm-CMA-ES Gissler 1.8 (2)1383 (2481)94 (152)∞∞∞∞4e60/15
cma-bp-bbob Brockhoff 1.6 (2)22 (20)1.8 (2)∞∞∞∞2e50/15
cma-bt-bbob Brockhoff 2.3 (4)90 (105)5.4 (8)∞∞∞∞2e50/15
d-CMA-ES Gissler 2.0 (2)402 (1243)69 (149)∞∞∞∞4e60/15
default-CMA-ES Gissler 1.9 (2)1924 (2496)90 (104)154 (123)115 (168)∞∞4e60/15
dm-CMA-ES Gissler 2.6 (2)1666 (3107)164 (178)∞∞∞∞4e60/15
m-SDWOA Espinoza 2.3 (2)∞∞∞∞∞∞2e50/15
s-CMA-ES Gissler 1.7 (2)1695 (2484)70 (119)72 (66)∞∞∞4e60/15
sc-CMA-ES Gissler 1.4 (2)401 (1244)69 (60)∞∞∞∞4e60/15
scd-CMA-ES Gissler 1.3 (1)391 (1244)53 (60)∞∞∞∞4e60/15
scdm-CMA-ES Gissler 2.3 (2)208 (76)44 (59)75 (81)56 (51)34 (39)33 (46)2/15
sd-CMA-ES Gissler 1.8 (2)911 (1242)119 (134)154 (178)∞∞∞4e60/15
sdm-CMA-ES Gissler 2.7 (3)1349 (3099)95 (91)74 (93)116 (94)70 (89)68 (68)1/15

Δ fopt
f24, 20-D		 1e1
1.3e6		 1e0
7.5e6		 1e-1
5.2e7		 1e-2
5.2e7		 1e-3
5.2e7		 1e-5
5.2e7		 1e-7
5.2e7		 #succ
3/15
BIRMIN Kudela ∞∞∞∞∞∞∞1e60/15
DIRECT-REV Kudela ∞∞∞∞∞∞∞1e60/15
E-WOA Espinoza ∞∞∞∞∞∞∞2e50/15
I-DBDP-GL Kudela 11 (13)∞∞∞∞∞∞1e60/15
WOA Espinoza ∞∞∞∞∞∞∞2e50/15
a-CMA-ES Gissler 3.1 (4)3.8 (4)1.1 (2)1.1 (1)1.1 (1)1.1 (1)1.1 (1)1/15
ad-CMA-ES Gissler 1.8 (3)0.41 (0.3)0.38 (0.4)0.38 (0.3)0.38 (0.4)0.58 (0.5)0.58 (1.0)2/15
adm-CMA-ES Gissler 20 (34)∞∞∞∞∞∞4e60/15
c-CMA-ES Gissler 20 (25)7.6 (8)∞∞∞∞∞4e60/15
cd-CMA-ES Gissler 2.5 (3)0.96 (1)1.1 (1)1.1 (1)1.1 (1)1.1 (1)1.1 (1)1/15
cdm-CMA-ES Gissler 19 (21)∞∞∞∞∞∞4e60/15
cma-bp-bbob Brockhoff 0.50 (0.5)∞∞∞∞∞∞2e50/15
cma-bt-bbob Brockhoff 0.37 (0.5)∞∞∞∞∞∞2e50/15
d-CMA-ES Gissler 4.3 (5)1.0 (1)∞∞∞∞∞4e60/15
default-CMA-ES Gissler 4.5 (4)7.6 (7)∞∞∞∞∞4e60/15
dm-CMA-ES Gissler 8.3 (9)∞∞∞∞∞∞4e60/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞2e50/15
s-CMA-ES Gissler 19 (22)∞∞∞∞∞∞4e60/15
sc-CMA-ES Gissler 42 (41)∞∞∞∞∞∞4e60/15
scd-CMA-ES Gissler 7.1 (7)2.4 (2)∞∞∞∞∞4e60/15
scdm-CMA-ES Gissler 42 (41)∞∞∞∞∞∞4e60/15
sd-CMA-ES Gissler 1.3 (2)0.41 (0.3)∞∞∞∞∞4e60/15
sdm-CMA-ES Gissler 12 (12)∞∞∞∞∞∞4e60/15

Previous dimension | Dimension = 40 | First dimension

Δ fopt
f1, 40-D		 1e1
83		 1e0
83		 1e-1
83		 1e-2
83		 1e-3
83		 1e-5
83		 1e-7
83		 #succ
15/15
E-WOA Espinoza 231 (57)614 (115)1214 (180)1997 (315)3435 (826)∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 7.0 (0.5)★12 (0.5)★217 (0.6)★222 (0.7)★327 (0.9)★338 (1)★448 (1)★415/15
ad-CMA-ES Gissler 7.9 (0.9)14 (0.7)19 (1)25 (0.9)31 (1)42 (1)54 (1)15/15
adm-CMA-ES Gissler 8.0 (0.6)14 (1)20 (0.8)25 (0.6)31 (1)43 (1)55 (1)15/15
c-CMA-ES Gissler 8.2 (1)14 (1)20 (1)26 (1)32 (1)45 (2)57 (2)15/15
cd-CMA-ES Gissler 9.2 (0.6)16 (1.0)23 (0.9)30 (1)37 (1)51 (2)65 (2)15/15
cdm-CMA-ES Gissler 9.1 (1)16 (1.0)22 (0.8)30 (1)36 (1.0)50 (2)64 (1)15/15
d-CMA-ES Gissler 9.2 (0.7)16 (1)23 (2)29 (2)36 (2)50 (2)63 (2)15/15
default-CMA-ES Gissler 8.5 (1)14 (1)21 (1)27 (2)33 (2)45 (2)57 (2)15/15
dm-CMA-ES Gissler 8.9 (0.9)16 (1)22 (1.0)29 (1)36 (1)49 (1)63 (2)15/15
m-SDWOA Espinoza 127 (29)275 (58)443 (101)629 (150)1608 (2471)1.1e4 (2e4)1.5e4 (1e4)4/15
s-CMA-ES Gissler 10 (3)16 (4)22 (3)29 (3)36 (4)50 (5)65 (6)15/15
sc-CMA-ES Gissler 9.1 (2)17 (3)24 (4)31 (4)38 (5)52 (5)66 (6)15/15
scd-CMA-ES Gissler 10 (3)18 (4)25 (4)32 (5)40 (4)54 (5)68 (6)15/15
scdm-CMA-ES Gissler 10 (2)17 (3)25 (3)32 (2)39 (4)53 (5)67 (6)15/15
sd-CMA-ES Gissler 10 (3)18 (4)25 (4)31 (4)39 (5)53 (6)67 (6)15/15
sdm-CMA-ES Gissler 10 (2)16 (3)24 (4)31 (4)38 (5)53 (4)68 (6)15/15

Δ fopt
f2, 40-D		 1e1
796		 1e0
797		 1e-1
799		 1e-2
799		 1e-3
800		 1e-5
802		 1e-7
804		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 41 (3)48 (3)53 (4)58 (4)60 (3)63 (2)65 (1)15/15
ad-CMA-ES Gissler 39 (3)47 (3)52 (2)57 (3)61 (3)64 (1.0)65 (1)15/15
adm-CMA-ES Gissler 39 (3)47 (4)52 (4)56 (2)60 (3)63 (3)65 (2)15/15
c-CMA-ES Gissler 61 (7)70 (8)76 (5)80 (5)84 (6)89 (5)94 (5)15/15
cd-CMA-ES Gissler 61 (4)71 (6)77 (5)81 (4)85 (4)90 (4)93 (3)15/15
cdm-CMA-ES Gissler 59 (5)69 (5)76 (4)80 (4)85 (4)90 (4)93 (4)15/15
d-CMA-ES Gissler 40 (3)47 (3)52 (3)56 (2)59 (4)62 (2)64 (2)15/15
default-CMA-ES Gissler 39 (4)46 (4)51 (4)54 (4)58 (4)62 (3)64 (2)15/15
dm-CMA-ES Gissler 39 (4)46 (3)51 (2)55 (2)58 (2)62 (3)63 (2)15/15
m-SDWOA Espinoza 276 (268)548 (753)700 (891)1150 (1639)1547 (1133)3468 (4089)7244 (4852)0/15
s-CMA-ES Gissler 46 (10)59 (8)67 (9)72 (8)75 (5)79 (4)81 (4)15/15
sc-CMA-ES Gissler 69 (10)80 (12)90 (7)97 (7)102 (9)111 (7)116 (6)15/15
scd-CMA-ES Gissler 72 (9)84 (8)92 (7)99 (8)106 (8)112 (8)116 (6)15/15
scdm-CMA-ES Gissler 69 (9)82 (9)92 (8)98 (7)104 (6)111 (4)116 (4)15/15
sd-CMA-ES Gissler 50 (4)59 (7)66 (7)72 (6)76 (5)79 (4)81 (4)15/15
sdm-CMA-ES Gissler 48 (8)60 (8)66 (10)72 (8)76 (9)80 (7)82 (4)15/15

Δ fopt
f3, 40-D		 1e1
15526		 1e0
15602		 1e-1
15612		 1e-2
15641		 1e-3
15646		 1e-5
15651		 1e-7
15656		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 173 (233)∞∞∞∞∞∞7e60/15
ad-CMA-ES Gissler 866 (1154)∞∞∞∞∞∞5e60/15
adm-CMA-ES Gissler 183 (249)∞∞∞∞∞∞7e60/15
c-CMA-ES Gissler ∞∞∞∞∞∞∞6e60/15
cd-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
cdm-CMA-ES Gissler ∞∞∞∞∞∞∞4e50/15
d-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
default-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
dm-CMA-ES Gissler 463 (270)∞∞∞∞∞∞4e50/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 2322 (2851)∞∞∞∞∞∞6e60/15
sc-CMA-ES Gissler 5044 (3700)∞∞∞∞∞∞6e60/15
scd-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
scdm-CMA-ES Gissler 694 (878)∞∞∞∞∞∞7e50/15
sd-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
sdm-CMA-ES Gissler ∞∞∞∞∞∞∞7e50/15

Δ fopt
f4, 40-D		 1e1
15536		 1e0
15601		 1e-1
15659		 1e-2
15678		 1e-3
15703		 1e-5
15733		 1e-7
2.8e5		 #succ
6/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler ∞∞∞∞∞∞∞6e60/15
ad-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
adm-CMA-ES Gissler ∞∞∞∞∞∞∞7e60/15
c-CMA-ES Gissler ∞∞∞∞∞∞∞6e60/15
cd-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
cdm-CMA-ES Gissler ∞∞∞∞∞∞∞6e60/15
d-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
default-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
dm-CMA-ES Gissler ∞∞∞∞∞∞∞6e60/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
sc-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
scd-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
scdm-CMA-ES Gissler ∞∞∞∞∞∞∞6e60/15
sd-CMA-ES Gissler ∞∞∞∞∞∞∞5e60/15
sdm-CMA-ES Gissler ∞∞∞∞∞∞∞6e60/15

Δ fopt
f5, 40-D		 1e1
98		 1e0
116		 1e-1
120		 1e-2
121		 1e-3
121		 1e-5
121		 1e-7
121		 #succ
15/15
E-WOA Espinoza 1.2e4 (1e4)2.3e4 (2e4)2.3e4 (2e4)2.3e4 (3e4)2.3e4 (3e4)2.3e4 (4e4)2.3e4 (3e4)2/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 4.9 (0.8)4.6 (0.8)4.6 (0.7)4.6 (0.7)4.6 (0.7)4.6 (0.7)4.6 (0.7)15/15
ad-CMA-ES Gissler 4.8 (1.0)4.5 (0.7)4.5 (0.7)4.4 (0.7)4.4 (0.7)4.4 (0.7)4.4 (0.7)15/15
adm-CMA-ES Gissler 4.6 (0.8)4.3 (0.7)4.3 (0.6)4.3 (0.6)4.3 (0.6)4.3 (0.6)4.3 (0.6)15/15
c-CMA-ES Gissler 5.2 (0.6)5.0 (0.5)5.0 (0.6)4.9 (0.6)4.9 (0.6)4.9 (0.6)4.9 (0.6)15/15
cd-CMA-ES Gissler 5.0 (0.8)4.9 (0.8)5.0 (0.5)4.9 (0.5)4.9 (0.5)4.9 (0.5)4.9 (0.5)15/15
cdm-CMA-ES Gissler 5.0 (0.7)4.9 (0.6)4.8 (0.6)4.9 (0.5)4.9 (0.5)4.9 (0.5)4.9 (0.5)15/15
d-CMA-ES Gissler 4.6 (0.5)4.4 (0.8)4.5 (0.7)4.5 (0.7)4.5 (0.7)4.5 (0.7)4.5 (0.7)15/15
default-CMA-ES Gissler 4.6 (0.7)4.4 (0.4)4.3 (0.4)4.2 (0.4)4.2 (0.4)4.2 (0.4)4.2 (0.4)15/15
dm-CMA-ES Gissler 4.4 (0.7)4.3 (0.4)4.2 (0.4)4.2 (0.4)4.2 (0.4)4.2 (0.4)4.2 (0.4)15/15
m-SDWOA Espinoza 271 (18)366 (16)480 (24)602 (26)732 (31)984 (39)1237 (38)15/15
s-CMA-ES Gissler 3.9 (0.8)3.8 (0.7)3.7 (0.7)3.7 (0.7)3.7 (0.7)3.7 (0.7)3.7 (0.7)15/15
sc-CMA-ES Gissler 4.6 (1.0)4.6 (0.7)4.6 (0.5)4.6 (0.9)4.6 (0.9)4.6 (0.9)4.6 (0.9)15/15
scd-CMA-ES Gissler 4.6 (0.9)4.7 (0.7)4.8 (0.7)4.7 (0.7)4.7 (0.7)4.7 (0.7)4.7 (0.7)15/15
scdm-CMA-ES Gissler 4.8 (0.8)4.8 (0.7)4.9 (0.7)5.0 (0.7)5.0 (0.7)5.0 (0.7)5.0 (0.7)15/15
sd-CMA-ES Gissler 4.2 (0.7)4.1 (0.6)4.1 (0.6)4.1 (0.6)4.1 (0.6)4.1 (0.6)4.1 (0.6)15/15
sdm-CMA-ES Gissler 4.2 (0.7)4.1 (0.6)4.0 (0.5)4.0 (0.5)4.0 (0.5)4.0 (0.5)4.0 (0.5)15/15

Δ fopt
f6, 40-D		 1e1
3507		 1e0
5523		 1e-1
7168		 1e-2
9470		 1e-3
11538		 1e-5
15007		 1e-7
19222		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 1.3 (0.2)1.3 (0.2)1.3 (0.2)1.2 (0.2)1.2 (0.2)1.3 (0.2)1.4 (0.2)15/15
ad-CMA-ES Gissler 1.3 (0.2)1.2 (0.2)1.3 (0.1)1.3 (0.1)1.3 (0.2)1.4 (0.2)1.4 (0.3)15/15
adm-CMA-ES Gissler 1.3 (0.2)1.2 (0.1)1.3 (0.2)1.2 (0.2)1.2 (0.1)1.4 (0.2)1.4 (0.1)15/15
c-CMA-ES Gissler 1.4 (0.2)1.3 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)15/15
cd-CMA-ES Gissler 1.5 (0.2)1.4 (0.1)1.3 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)1.1 (0.0)15/15
cdm-CMA-ES Gissler 1.5 (0.3)1.4 (0.2)1.4 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)15/15
d-CMA-ES Gissler 1.5 (0.2)1.3 (0.1)1.3 (0.1)1.3 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)15/15
default-CMA-ES Gissler 1.5 (0.2)1.4 (0.1)1.4 (0.1)1.3 (0.1)1.2 (0.1)1.3 (0.1)1.2 (0.1)15/15
dm-CMA-ES Gissler 1.5 (0.1)1.4 (0.1)1.4 (0.1)1.3 (0.1)1.3 (0.1)1.3 (0.1)1.3 (0.1)15/15
m-SDWOA Espinoza 26 (5)35 (13)55 (32)86 (65)519 (537)∞∞4e50/15
s-CMA-ES Gissler 1.5 (0.2)1.4 (0.2)1.5 (0.2)1.5 (0.4)1.5 (0.4)1.7 (0.6)3.0 (5)15/15
sc-CMA-ES Gissler 1.5 (0.3)1.3 (0.2)1.3 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)15/15
scd-CMA-ES Gissler 1.4 (0.3)1.3 (0.3)1.3 (0.2)1.2 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)15/15
scdm-CMA-ES Gissler 1.5 (0.3)1.4 (0.2)1.3 (0.2)1.2 (0.2)1.2 (0.1)1.2 (0.1)1.2 (0.1)15/15
sd-CMA-ES Gissler 1.4 (0.2)1.4 (0.2)1.5 (0.2)1.5 (0.4)1.7 (0.6)3.6 (2)5.8 (9)15/15
sdm-CMA-ES Gissler 1.4 (0.2)1.3 (0.1)1.4 (0.2)1.4 (0.2)1.5 (0.3)3.4 (0.5)3.2 (0.9)15/15

Δ fopt
f7, 40-D		 1e1
10698		 1e0
17839		 1e-1
41037		 1e-2
66294		 1e-3
66294		 1e-5
66294		 1e-7
68145		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 1.0 (0.5)4.1 (1)1.9 (0.5)1.2 (0.3)1.2 (0.3)1.2 (0.3)1.2 (0.3)15/15
ad-CMA-ES Gissler 1.1 (0.4)3.7 (1)1.8 (0.5)1.2 (0.3)1.2 (0.3)1.2 (0.3)1.2 (0.3)15/15
adm-CMA-ES Gissler 1.4 (0.6)3.4 (1)1.7 (0.5)1.2 (0.3)1.2 (0.3)1.2 (0.3)1.1 (0.3)15/15
c-CMA-ES Gissler 1.2 (0.8)4.5 (1)2.3 (0.1)1.5 (0.1)1.5 (0.1)1.5 (0.1)1.5 (0.1)15/15
cd-CMA-ES Gissler 1.2 (1.0)4.1 (1)2.1 (0.6)1.4 (0.4)1.4 (0.4)1.4 (0.4)1.4 (0.4)15/15
cdm-CMA-ES Gissler 0.97 (0.9)4.0 (1)2.1 (0.6)1.4 (0.4)1.4 (0.4)1.4 (0.4)1.3 (0.4)15/15
d-CMA-ES Gissler 1.1 (0.9)3.3 (1)1.6 (0.6)1.1 (0.4)1.1 (0.4)1.1 (0.4)1.0 (0.4)15/15
default-CMA-ES Gissler 1.1 (0.8)3.7 (1)2.0 (0.5)1.3 (0.3)1.3 (0.3)1.3 (0.3)1.3 (0.3)15/15
dm-CMA-ES Gissler 0.86 (0.4)3.6 (1)1.9 (0.6)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 1.1 (0.8)3.9 (1)1.9 (0.6)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
sc-CMA-ES Gissler 1.5 (0.7)4.0 (1)2.0 (0.6)1.3 (0.4)1.3 (0.4)1.3 (0.4)1.3 (0.4)15/15
scd-CMA-ES Gissler 1.3 (0.7)4.3 (1)2.2 (0.6)1.5 (0.4)1.5 (0.4)1.5 (0.4)1.4 (0.4)15/15
scdm-CMA-ES Gissler 1.6 (2)4.4 (1)2.1 (0.2)1.4 (0.1)1.4 (0.1)1.4 (0.1)1.4 (0.1)15/15
sd-CMA-ES Gissler 1.5 (2)3.6 (1)1.8 (0.6)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
sdm-CMA-ES Gissler 1.6 (0.6)3.3 (1)1.9 (0.6)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15

Δ fopt
f8, 40-D		 1e1
7080		 1e0
10655		 1e-1
11012		 1e-2
11265		 1e-3
11430		 1e-5
11701		 1e-7
11969		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 5.6 (0.5)5.4 (0.4)5.5 (0.4)5.5 (0.4)5.5 (0.4)5.5 (0.4)5.5 (0.4)15/15
ad-CMA-ES Gissler 5.8 (0.6)6.9 (4)7.0 (4)7.0 (4)7.0 (4)6.9 (4)6.9 (4)15/15
adm-CMA-ES Gissler 5.6 (0.3)6.1 (0.3)6.2 (0.3)6.2 (0.3)6.2 (0.3)6.2 (0.3)6.2 (0.3)15/15
c-CMA-ES Gissler 10 (2)10 (8)11 (8)11 (8)11 (8)11 (8)11 (7)15/15
cd-CMA-ES Gissler 10 (0.6)11 (6)11 (6)12 (6)12 (6)12 (6)12 (6)15/15
cdm-CMA-ES Gissler 10 (1)10 (0.7)11 (0.7)11 (0.7)11 (0.7)11 (0.6)11 (0.6)15/15
d-CMA-ES Gissler 5.6 (0.2)5.0 (0.1)5.1 (0.1)5.1 (0.1)5.2 (0.1)5.2 (0.1)5.2 (0.1)15/15
default-CMA-ES Gissler 5.5 (0.4)4.9 (0.2)5.1 (0.3)5.1 (0.2)5.1 (0.2)5.1 (0.2)5.1 (0.2)15/15
dm-CMA-ES Gissler 5.7 (0.5)5.4 (0.4)5.6 (0.4)5.6 (0.3)5.6 (0.3)5.6 (0.3)5.6 (0.3)15/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 7.2 (1)7.3 (4)7.5 (4)7.5 (4)7.5 (4)7.5 (4)7.4 (4)15/15
sc-CMA-ES Gissler 11 (0.7)10 (0.6)10 (0.6)11 (0.6)11 (0.5)11 (0.6)11 (0.5)15/15
scd-CMA-ES Gissler 12 (0.8)12 (6)13 (6)13 (6)13 (6)13 (6)13 (6)15/15
scdm-CMA-ES Gissler 12 (1)12 (7)13 (6)13 (6)13 (6)13 (6)13 (6)15/15
sd-CMA-ES Gissler 7.1 (0.7)7.2 (4)7.4 (4)7.4 (4)7.4 (4)7.4 (4)7.3 (3)15/15
sdm-CMA-ES Gissler 7.4 (0.8)6.5 (0.5)6.7 (0.5)6.7 (0.5)6.7 (0.5)6.7 (0.5)6.7 (0.5)15/15

Δ fopt
f9, 40-D		 1e1
6122		 1e0
12982		 1e-1
13300		 1e-2
13496		 1e-3
13651		 1e-5
13909		 1e-7
14142		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 6.8 (0.6)4.6 (0.3)4.8 (0.3)4.8 (0.3)4.8 (0.3)4.8 (0.3)4.8 (0.3)15/15
ad-CMA-ES Gissler 6.5 (0.9)5.1 (3)5.3 (3)5.3 (3)5.3 (3)5.3 (3)5.3 (3)15/15
adm-CMA-ES Gissler 6.4 (0.4)4.4 (0.2)4.6 (0.2)4.6 (0.2)4.6 (0.2)4.7 (0.2)4.7 (0.2)15/15
c-CMA-ES Gissler 12 (1.0)7.5 (0.5)8.0 (0.4)8.4 (0.4)8.6 (0.5)8.8 (0.4)8.8 (0.4)15/15
cd-CMA-ES Gissler 12 (1)9.1 (5)9.5 (5)10 (5)10 (5)10 (5)10 (5)15/15
cdm-CMA-ES Gissler 12 (1.0)8.0 (0.5)8.6 (0.6)8.9 (0.6)9.1 (0.6)9.3 (0.5)9.3 (0.5)15/15
d-CMA-ES Gissler 6.7 (0.7)4.5 (0.3)4.7 (0.3)4.7 (0.3)4.8 (0.3)4.8 (0.3)4.8 (0.3)15/15
default-CMA-ES Gissler 6.5 (0.4)4.5 (0.2)4.6 (0.2)4.7 (0.2)4.7 (0.2)4.7 (0.2)4.7 (0.2)15/15
dm-CMA-ES Gissler 6.4 (0.5)4.0 (0.2)4.2 (0.2)4.2 (0.2)4.3 (0.2)4.3 (0.2)4.3 (0.2)15/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 8.2 (1)5.6 (0.6)5.7 (0.6)5.8 (0.6)5.8 (0.6)5.8 (0.6)5.8 (0.6)15/15
sc-CMA-ES Gissler 13 (2)11 (5)11 (5)12 (5)12 (5)12 (5)12 (5)15/15
scd-CMA-ES Gissler 13 (1.0)8.8 (0.6)9.2 (0.6)9.5 (0.6)10 (0.6)10 (0.6)10 (0.6)15/15
scdm-CMA-ES Gissler 13 (1.0)8.2 (0.5)8.7 (0.5)9.0 (0.5)9.1 (0.5)9.1 (0.5)9.1 (0.5)15/15
sd-CMA-ES Gissler 8.1 (0.7)5.2 (0.3)5.4 (0.2)5.5 (0.2)5.5 (0.2)5.5 (0.2)5.6 (0.3)15/15
sdm-CMA-ES Gissler 8.2 (0.6)5.2 (0.3)5.4 (0.3)5.4 (0.3)5.4 (0.3)5.5 (0.3)5.5 (0.3)15/15

Δ fopt
f10, 40-D		 1e1
25536		 1e0
29762		 1e-1
35676		 1e-2
51579		 1e-3
56007		 1e-5
65128		 1e-7
70824		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 1.2 (0.1)1.3 (0.1)1.2 (0.1)0.88 (0.1)↑00.86 (0.1)↑00.78 (0.0)↑00.73 (0.0)↑015/15
ad-CMA-ES Gissler 1.2 (0.1)1.2 (0.1)1.2 (0.1)0.87 (0.0)↑00.85 (0.0)↑00.78 (0.0)↑00.74 (0.0)↑015/15
adm-CMA-ES Gissler 1.2 (0.1)1.3 (0.2)1.2 (0.1)0.89 (0.1)↑00.86 (0.1)↑00.79 (0.0)↑00.74 (0.0)↑015/15
c-CMA-ES Gissler 1.9 (0.2)1.8 (0.1)1.7 (0.1)1.2 (0.1)1.2 (0.0)1.1 (0.0)1.0 (0.0)15/15
cd-CMA-ES Gissler 1.8 (0.2)1.8 (0.2)1.7 (0.1)1.2 (0.1)1.2 (0.1)1.1 (0.1)1.0 (0.1)15/15
cdm-CMA-ES Gissler 1.9 (0.2)1.9 (0.2)1.7 (0.1)1.2 (0.1)1.2 (0.1)1.1 (0.1)1.0 (0.1)15/15
d-CMA-ES Gissler 1.2 (0.1)1.2 (0.1)1.2 (0.1)0.86 (0.0)↑00.84 (0.0)↑00.77 (0.0)↑00.72 (0.0)↑015/15
default-CMA-ES Gissler 1.2 (0.2)1.2 (0.2)1.1 (0.1)0.86 (0.1)↑00.83 (0.1)↑00.76 (0.0)↑00.72 (0.0)↑015/15
dm-CMA-ES Gissler 1.2 (0.1)1.3 (0.1)1.2 (0.1)0.86 (0.1)↑00.83 (0.1)↑00.76 (0.0)↑00.72 (0.0)↑015/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 1.5 (0.1)1.6 (0.2)1.5 (0.1)1.1 (0.1)1.1 (0.1)0.99 (0.1)0.93 (0.0)↑115/15
sc-CMA-ES Gissler 2.2 (0.2)2.2 (0.2)2.0 (0.2)1.5 (0.1)1.5 (0.1)1.4 (0.1)1.3 (0.0)15/15
scd-CMA-ES Gissler 2.2 (0.3)2.2 (0.2)2.0 (0.2)1.5 (0.1)1.5 (0.1)1.4 (0.1)1.3 (0.1)15/15
scdm-CMA-ES Gissler 2.1 (0.4)2.2 (0.2)2.0 (0.1)1.5 (0.1)1.5 (0.1)1.4 (0.1)1.3 (0.0)15/15
sd-CMA-ES Gissler 1.5 (0.2)1.6 (0.2)1.5 (0.1)1.1 (0.1)1.1 (0.1)0.97 (0.0)↑10.91 (0.0)↑015/15
sdm-CMA-ES Gissler 1.5 (0.2)1.5 (0.2)1.5 (0.1)1.1 (0.1)1.1 (0.1)0.98 (0.0)0.92 (0.0)↑015/15

Δ fopt
f11, 40-D		 1e1
2368		 1e0
4855		 1e-1
11681		 1e-2
25315		 1e-3
29749		 1e-5
38949		 1e-7
48211		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 5.2 (0.2)2.9 (0.1)1.3 (0.0)0.63 (0.0)↑00.57 (0.0)↑00.47 (0.0)↑00.41 (1e-2)↑015/15
ad-CMA-ES Gissler 5.2 (0.2)2.9 (0.1)1.3 (0.0)0.63 (0.0)↑00.57 (0.0)↑00.48 (0.0)↑00.41 (0.0)↑015/15
adm-CMA-ES Gissler 5.2 (0.1)2.9 (0.1)1.3 (0.0)0.64 (0.0)↑00.57 (0.0)↑00.48 (0.0)↑00.41 (1e-2)↑015/15
c-CMA-ES Gissler 5.8 (0.2)3.1 (0.1)1.3 (0.0)0.65 (0.0)↑00.58 (0.0)↑00.48 (0.0)↑00.41 (0.0)↑015/15
cd-CMA-ES Gissler 5.9 (0.2)3.1 (0.1)1.4 (0.0)0.66 (0.0)↑00.59 (0.0)↑00.49 (0.0)↑00.42 (9e-3)↑015/15
cdm-CMA-ES Gissler 5.8 (0.3)3.1 (0.1)1.4 (0.0)0.66 (0.0)↑00.58 (0.0)↑00.48 (1e-2)↑00.42 (7e-3)↑015/15
d-CMA-ES Gissler 5.8 (0.4)3.1 (0.1)1.4 (0.1)0.67 (0.0)↑00.59 (0.0)↑00.49 (0.0)↑00.42 (7e-3)↑015/15
default-CMA-ES Gissler 5.8 (0.3)3.1 (0.1)1.4 (0.0)0.66 (0.0)↑00.59 (0.0)↑00.48 (1e-2)↑00.42 (8e-3)↑015/15
dm-CMA-ES Gissler 5.8 (0.2)3.1 (0.1)1.4 (0.0)0.66 (0.0)↑00.59 (0.0)↑00.49 (8e-3)↑00.42 (7e-3)↑015/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 5.5 (0.2)3.0 (0.1)1.3 (0.1)0.65 (0.0)↑00.58 (0.0)↑00.49 (0.0)↑00.42 (0.0)↑015/15
sc-CMA-ES Gissler 5.7 (0.3)3.0 (0.1)1.3 (0.0)0.65 (0.0)↑00.57 (0.0)↑00.47 (0.0)↑00.41 (0.0)↑015/15
scd-CMA-ES Gissler 5.8 (0.3)3.1 (0.1)1.3 (0.1)0.65 (0.0)↑00.58 (0.0)↑00.48 (0.0)↑00.42 (0.0)↑015/15
scdm-CMA-ES Gissler 5.7 (0.2)3.0 (0.1)1.3 (0.0)0.65 (0.0)↑00.58 (0.0)↑00.48 (0.0)↑00.41 (0.0)↑015/15
sd-CMA-ES Gissler 5.5 (0.2)3.0 (0.1)1.3 (0.1)0.65 (0.0)↑00.58 (0.0)↑00.48 (0.0)↑00.42 (0.0)↑015/15
sdm-CMA-ES Gissler 5.6 (0.3)3.0 (0.2)1.3 (0.1)0.66 (0.0)↑00.59 (0.0)↑00.49 (0.0)↑00.43 (0.0)↑015/15

Δ fopt
f12, 40-D		 1e1
4169		 1e0
7452		 1e-1
9174		 1e-2
10751		 1e-3
13146		 1e-5
22758		 1e-7
25192		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 1.1 (1)1.5 (1)1.9 (0.8)2.0 (0.7)1.9 (0.5)1.4 (0.3)1.4 (0.3)15/15
ad-CMA-ES Gissler 1.4 (1)1.8 (1)2.0 (1)2.1 (0.9)2.0 (0.8)1.4 (0.5)1.4 (0.4)15/15
adm-CMA-ES Gissler 1.1 (0.9)1.1 (1.0)1.4 (0.9)1.6 (0.6)1.7 (0.5)1.2 (0.3)1.3 (0.3)15/15
c-CMA-ES Gissler 2.8 (6)7.5 (6)9.3 (4)8.9 (3)8.6 (3)6.2 (2)6.3 (2)15/15
cd-CMA-ES Gissler 2.5 (5)6.8 (6)8.7 (6)8.8 (3)8.5 (2)6.1 (1)6.3 (1)15/15
cdm-CMA-ES Gissler 3.0 (7)7.8 (6)9.3 (6)10 (3)8.9 (3)6.3 (2)6.5 (1)15/15
d-CMA-ES Gissler 1.8 (1)2.0 (1)2.2 (1)2.2 (1)2.1 (0.9)1.5 (0.5)1.5 (0.5)15/15
default-CMA-ES Gissler 2.4 (2)2.3 (2)2.7 (1)2.6 (1)2.5 (1.0)1.7 (0.6)1.7 (0.5)15/15
dm-CMA-ES Gissler 1.8 (2)1.8 (2)2.2 (1)2.2 (0.9)2.1 (0.7)1.5 (0.4)1.5 (0.4)15/15
m-SDWOA Espinoza 77 (50)162 (202)625 (938)∞∞∞∞4e50/15
s-CMA-ES Gissler 1.1 (0.1)1.3 (1.0)1.9 (0.9)2.0 (0.8)2.0 (0.7)1.5 (0.4)1.5 (0.4)15/15
sc-CMA-ES Gissler 4.1 (5)6.7 (6)7.5 (5)7.5 (3)7.2 (3)5.0 (1)5.1 (1)15/15
scd-CMA-ES Gissler 4.7 (8)7.3 (6)8.4 (3)8.1 (2)7.5 (2)5.2 (0.8)5.2 (0.7)15/15
scdm-CMA-ES Gissler 3.8 (4)5.3 (5)7.0 (3)6.8 (2)6.6 (2)4.7 (1.0)4.8 (0.9)15/15
sd-CMA-ES Gissler 1.5 (1.0)1.8 (1)2.0 (1)2.2 (0.7)2.1 (0.6)1.5 (0.4)1.6 (0.4)15/15
sdm-CMA-ES Gissler 1.6 (2)1.5 (1)2.0 (1)2.1 (0.8)2.0 (0.6)1.5 (0.3)1.5 (0.3)15/15

Δ fopt
f13, 40-D		 1e1
2029		 1e0
6916		 1e-1
8734		 1e-2
11861		 1e-3
71936		 1e-5
98467		 1e-7
1.2e5		 #succ
15/15
E-WOA Espinoza 2942 (3696)∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 3.0 (3)2.4 (4)5.4 (3)5.4 (6)1.5 (1)1.6 (0.9)1.8 (1)15/15
ad-CMA-ES Gissler 2.4 (4)3.3 (4)6.5 (5)7.1 (6)1.3 (1)1.7 (0.9)2.2 (0.7)15/15
adm-CMA-ES Gissler 2.3 (3)2.7 (2)4.9 (5)6.3 (3)1.5 (1)1.5 (0.6)2.0 (1)15/15
c-CMA-ES Gissler 2.1 (0.2)4.9 (5)11 (7)13 (6)2.5 (0.9)2.6 (0.7)2.6 (0.8)15/15
cd-CMA-ES Gissler 1.6 (0.1)2.2 (3)6.3 (8)12 (8)2.9 (0.9)2.8 (0.9)3.0 (0.7)15/15
cdm-CMA-ES Gissler 2.8 (4)2.8 (1)8.8 (7)12 (8)2.2 (1)2.8 (1)3.0 (1)15/15
d-CMA-ES Gissler 1.7 (0.2)2.8 (3)6.9 (5)7.0 (4)1.4 (0.7)1.6 (0.5)2.5 (0.9)15/15
default-CMA-ES Gissler 3.0 (4)2.8 (5)5.0 (5)6.4 (4)1.1 (0.8)1.7 (1.0)2.1 (0.9)15/15
dm-CMA-ES Gissler 2.2 (0.4)2.7 (3)5.9 (4)6.3 (4)1.4 (1)1.6 (1)2.2 (1)15/15
m-SDWOA Espinoza 116 (105)98 (79)679 (1122)∞∞∞∞4e50/15
s-CMA-ES Gissler 3.0 (4)3.4 (3)4.5 (5)5.7 (6)1.2 (0.8)1.3 (0.5)2.1 (1)15/15
sc-CMA-ES Gissler 3.3 (4)4.3 (3)7.2 (6)12 (8)2.3 (1)2.1 (0.8)2.6 (0.9)15/15
scd-CMA-ES Gissler 2.2 (0.2)2.2 (3)12 (8)12 (11)2.4 (1)2.1 (0.8)2.6 (1)15/15
scdm-CMA-ES Gissler 3.3 (4)3.9 (3)7.4 (7)8.8 (6)2.0 (0.8)2.3 (0.9)3.2 (0.3)15/15
sd-CMA-ES Gissler 1.8 (0.4)3.9 (3)5.9 (3)6.7 (4)1.1 (0.7)0.94 (0.6)1.8 (1)15/15
sdm-CMA-ES Gissler 2.3 (0.4)4.0 (4)6.8 (4)6.7 (3)1.3 (0.6)1.0 (0.5)1.9 (1)15/15

Δ fopt
f14, 40-D		 1e1
304		 1e0
616		 1e-1
777		 1e-2
1105		 1e-3
2207		 1e-5
4825		 1e-7
57711		 #succ
15/15
E-WOA Espinoza 48 (22)89 (23)165 (33)1337 (1719)∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 1.6 (0.3)1.8 (0.2)2.3 (0.2)★2.9 (0.2)3.0 (0.2)3.8 (0.3)0.62 (0.0)↑015/15
ad-CMA-ES Gissler 1.8 (0.4)1.9 (0.2)2.5 (0.1)3.1 (0.1)3.1 (0.2)3.9 (0.2)0.65 (0.0)↑015/15
adm-CMA-ES Gissler 1.8 (0.3)1.9 (0.1)2.5 (0.2)3.1 (0.2)3.1 (0.1)3.8 (0.2)0.63 (0.0)↑015/15
c-CMA-ES Gissler 1.9 (0.4)2.1 (0.2)2.8 (0.2)3.5 (0.2)3.9 (0.3)5.5 (0.2)0.84 (0.0)↑015/15
cd-CMA-ES Gissler 2.1 (0.6)2.2 (0.3)2.9 (0.3)3.7 (0.3)3.9 (0.2)5.5 (0.3)0.86 (0.0)↑015/15
cdm-CMA-ES Gissler 2.3 (0.4)2.3 (0.3)3.0 (0.2)3.8 (0.2)4.0 (0.4)5.5 (0.2)0.84 (0.0)↑015/15
d-CMA-ES Gissler 2.1 (0.6)2.2 (0.3)3.0 (0.3)3.7 (0.3)3.6 (0.3)4.3 (0.3)0.65 (0.0)↑015/15
default-CMA-ES Gissler 2.1 (0.4)2.2 (0.2)2.8 (0.2)3.6 (0.3)3.5 (0.2)4.2 (0.2)0.65 (0.0)↑015/15
dm-CMA-ES Gissler 2.2 (0.3)2.2 (0.3)3.0 (0.2)3.8 (0.2)3.7 (0.2)4.2 (0.2)0.65 (0.0)↑015/15
m-SDWOA Espinoza 19 (5)35 (8)50 (15)113 (28)1349 (1450)∞∞4e50/15
s-CMA-ES Gissler 2.3 (0.7)2.2 (0.5)2.9 (0.5)3.5 (0.5)3.2 (0.3)3.9 (0.2)0.70 (0.1)↑015/15
sc-CMA-ES Gissler 2.4 (1)2.2 (0.5)2.9 (0.5)3.5 (0.5)3.8 (0.4)5.4 (0.3)0.89 (0.0)↑015/15
scd-CMA-ES Gissler 2.5 (0.6)2.3 (0.5)3.1 (0.5)3.6 (0.4)3.8 (0.1)5.3 (0.2)0.88 (0.1)↑015/15
scdm-CMA-ES Gissler 2.5 (0.9)2.4 (0.5)3.2 (0.7)3.7 (0.6)4.0 (0.5)5.2 (0.5)0.89 (0.1)↑015/15
sd-CMA-ES Gissler 2.4 (1.0)2.3 (0.7)3.0 (0.8)3.6 (0.7)3.2 (0.3)3.8 (0.2)0.70 (0.1)↑015/15
sdm-CMA-ES Gissler 2.5 (0.9)2.4 (0.6)3.1 (0.7)3.7 (0.6)3.2 (0.3)3.8 (0.4)0.70 (0.1)↑015/15

Δ fopt
f15, 40-D		 1e1
1.9e5		 1e0
7.9e5		 1e-1
1.0e6		 1e-2
1.1e6		 1e-3
1.1e6		 1e-5
1.1e6		 1e-7
1.1e6		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 0.69 (0.2)↑10.46 (0.2)↑00.43 (0.1)↑00.43 (0.1)↑10.44 (0.1)↑10.44 (0.1)↑10.45 (0.1)↑115/15
ad-CMA-ES Gissler 0.63 (0.2)↑00.53 (0.2)↑00.52 (0.2)↑00.53 (0.2)↑00.54 (0.2)↑00.56 (0.2)↑00.58 (0.2)↑015/15
adm-CMA-ES Gissler 0.73 (0.3)↑10.48 (0.2)↑00.44 (0.2)↑10.44 (0.2)↑10.45 (0.2)↑10.46 (0.2)↑10.47 (0.2)↑115/15
c-CMA-ES Gissler 0.86 (0.3)0.70 (0.3)0.74 (0.4)0.74 (0.5)0.75 (0.5)0.76 (0.5)0.77 (0.5)15/15
cd-CMA-ES Gissler 0.79 (0.3)0.79 (0.3)0.84 (0.2)↑10.85 (0.2)↑10.86 (0.2)↑10.87 (0.2)↑10.89 (0.3)15/15
cdm-CMA-ES Gissler 0.94 (0.4)2.9 (3)3.3 (4)3.3 (3)3.3 (3)3.2 (3)3.1 (3)2/15
d-CMA-ES Gissler 0.88 (0.3)0.76 (0.3)0.85 (0.5)0.86 (0.5)0.87 (0.5)0.89 (0.5)0.90 (0.5)15/15
default-CMA-ES Gissler 0.86 (0.4)0.63 (0.2)↑10.61 (0.2)↑00.61 (0.2)↑00.62 (0.2)↑00.63 (0.2)↑00.64 (0.2)↑015/15
dm-CMA-ES Gissler 0.85 (0.4)7.3 (7)∞∞∞∞∞4e50/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 0.94 (0.4)0.77 (0.3)0.82 (0.5)0.83 (0.5)0.83 (0.5)0.85 (0.5)0.86 (0.5)15/15
sc-CMA-ES Gissler 1.0 (0.3)0.71 (0.3)0.75 (0.2)↑10.75 (0.2)↑10.76 (0.2)↑10.77 (0.2)↑10.78 (0.2)↑115/15
scd-CMA-ES Gissler 0.99 (0.3)0.76 (0.3)0.84 (0.5)0.85 (0.5)0.86 (0.5)0.87 (0.5)0.89 (0.5)15/15
scdm-CMA-ES Gissler 1.0 (0.3)1.0 (0.5)3.2 (4)3.2 (2)3.2 (3)3.1 (4)3.1 (2)3/15
sd-CMA-ES Gissler 0.90 (0.3)0.79 (0.3)0.89 (0.5)0.90 (0.5)0.91 (0.5)0.93 (0.5)0.95 (0.5)15/15
sdm-CMA-ES Gissler 0.83 (0.4)1.3 (1.0)1.2 (1)1.2 (1)1.2 (1.0)1.1 (1)1.1 (1.0)7/15

Δ fopt
f16, 40-D		 1e1
5244		 1e0
72122		 1e-1
3.2e5		 1e-2
7.1e5		 1e-3
1.4e6		 1e-5
2.0e6		 1e-7
2.0e6		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 0.45 (0.1)↑00.64 (0.2)↑10.43 (0.2)↑10.30 (0.2)↑10.22 (0.3)↑00.27 (0.4)↑00.29 (0.4)↑015/15
ad-CMA-ES Gissler 0.47 (0.1)↑00.71 (0.5)0.43 (0.2)↑10.47 (0.3)↑10.35 (0.3)↑10.32 (0.5)0.33 (0.5)15/15
adm-CMA-ES Gissler 0.51 (0.1)↑00.63 (0.2)↑00.33 (0.2)↑00.32 (0.2)↑00.33 (0.3)↑00.29 (0.2)↑00.33 (0.2)↑015/15
c-CMA-ES Gissler 1.0 (0.3)1.2 (0.2)0.84 (0.4)0.70 (0.3)0.39 (0.2)↑10.40 (0.3)↑10.41 (0.3)↑115/15
cd-CMA-ES Gissler 0.93 (0.3)1.0 (0.4)0.82 (0.5)0.73 (0.4)0.47 (0.2)↑00.70 (0.5)0.71 (0.5)15/15
cdm-CMA-ES Gissler 1.7 (0.5)1.3 (0.9)0.69 (0.4)0.96 (0.9)0.68 (0.6)0.67 (0.5)0.84 (0.6)15/15
d-CMA-ES Gissler 1.1 (0.2)1.2 (0.9)0.71 (0.3)0.64 (0.5)0.40 (0.2)↑10.68 (1.0)0.69 (1.0)15/15
default-CMA-ES Gissler 0.95 (0.2)1.00 (0.7)0.60 (0.4)0.73 (0.4)0.46 (0.3)↑10.58 (0.2)↑10.72 (0.9)15/15
dm-CMA-ES Gissler 1.3 (0.4)0.94 (0.4)0.74 (0.7)0.64 (0.5)0.52 (0.4)↑00.49 (0.3)↑10.50 (0.3)↑115/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 1.1 (0.4)1.2 (1.0)0.61 (0.3)↑10.74 (0.4)0.53 (0.4)0.58 (0.5)0.59 (0.5)15/15
sc-CMA-ES Gissler 1.8 (0.9)1.5 (0.5)0.97 (0.7)0.82 (0.6)0.53 (0.3)↑10.71 (0.5)0.72 (0.5)15/15
scd-CMA-ES Gissler 1.7 (0.8)1.6 (0.9)0.82 (0.6)0.76 (0.3)0.47 (0.2)↑10.43 (0.3)↑10.44 (0.3)↑115/15
scdm-CMA-ES Gissler 2.3 (4)1.6 (0.8)0.97 (0.8)0.79 (0.4)0.57 (0.4)↑10.53 (0.2)↑10.54 (0.2)↑115/15
sd-CMA-ES Gissler 1.3 (0.7)1.1 (0.2)0.82 (0.5)0.60 (0.3)↑10.58 (0.5)0.63 (0.4)↑10.67 (0.4)↑115/15
sdm-CMA-ES Gissler 1.9 (1)1.3 (0.6)0.78 (0.6)0.82 (0.7)0.77 (0.7)0.71 (0.5)0.72 (0.5)15/15

Δ fopt
f17, 40-D		 1e1
399		 1e0
4220		 1e-1
14158		 1e-2
34948		 1e-3
51958		 1e-5
1.3e5		 1e-7
2.7e5		 #succ
14/15
E-WOA Espinoza 28 (41)∞∞∞∞∞∞4e50/15
WOA Espinoza 299 (503)∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 0.42 (0.3)↑00.47 (0.2)↑01.5 (1)1.0 (0.4)1.0 (0.6)1.00 (0.3)0.64 (0.2)↑015/15
ad-CMA-ES Gissler 0.50 (0.3)↑00.48 (0.2)↑11.2 (0.7)1.1 (0.4)1.0 (0.0)1.1 (0.4)0.70 (0.2)↑015/15
adm-CMA-ES Gissler 0.51 (0.3)↑01.2 (2)1.3 (0.8)0.92 (0.4)1.1 (0.0)0.97 (0.5)0.72 (0.2)↑115/15
c-CMA-ES Gissler 0.54 (0.3)↑00.45 (0.1)↑00.71 (1)0.92 (0.5)0.86 (0.3)0.84 (0.3)0.81 (0.3)15/15
cd-CMA-ES Gissler 0.76 (0.4)0.52 (0.2)↑00.75 (1)1.0 (0.1)1.0 (0.4)1.1 (0.8)0.82 (0.3)15/15
cdm-CMA-ES Gissler 0.75 (0.5)0.97 (0.2)↑10.87 (1.0)1.0 (0.1)0.89 (0.4)0.94 (0.3)0.72 (0.3)15/15
d-CMA-ES Gissler 0.66 (0.4)0.49 (0.1)↑00.71 (0.9)1.1 (0.2)0.89 (0.4)1.00 (0.8)0.69 (0.3)15/15
default-CMA-ES Gissler 0.53 (0.4)0.44 (0.1)↑00.95 (1)0.96 (0.1)0.97 (0.4)0.92 (0.2)0.64 (0.3)15/15
dm-CMA-ES Gissler 0.67 (0.4)↑10.53 (0.1)↑00.87 (1)1.0 (0.2)0.81 (0.4)0.94 (0.2)0.75 (0.3)15/15
m-SDWOA Espinoza 3.7 (1)26 (49)∞∞∞∞∞4e50/15
s-CMA-ES Gissler 0.79 (0.5)0.56 (0.1)↑00.57 (0.9)0.80 (0.4)↑10.82 (0.4)1.0 (0.3)0.64 (0.0)↑115/15
sc-CMA-ES Gissler 0.99 (0.3)0.61 (0.2)↑10.94 (0.9)0.97 (0.1)0.95 (0.4)0.92 (0.3)0.69 (0.4)15/15
scd-CMA-ES Gissler 1.1 (0.6)0.61 (0.1)↑00.86 (0.9)0.88 (0.4)↑10.91 (0.4)1.1 (0.8)0.86 (0.3)15/15
scdm-CMA-ES Gissler 0.92 (0.5)0.60 (0.2)↑11.0 (0.9)0.79 (0.4)↑11.1 (0.4)0.91 (0.3)0.80 (0.3)15/15
sd-CMA-ES Gissler 0.85 (0.5)0.55 (0.1)↑00.74 (0.8)0.90 (0.8)0.95 (0.4)1.00 (0.3)0.63 (0.1)↑115/15
sdm-CMA-ES Gissler 0.80 (0.4)0.63 (0.2)↑00.70 (0.9)0.92 (0.2)1.0 (0.5)0.94 (0.3)0.81 (0.4)15/15

Δ fopt
f18, 40-D		 1e1
1442		 1e0
16998		 1e-1
47068		 1e-2
1.3e5		 1e-3
1.9e5		 1e-5
6.7e5		 1e-7
9.5e5		 #succ
15/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 0.71 (0.1)↑01.1 (0.7)1.1 (0.7)0.73 (0.5)0.78 (0.2)0.51 (0.2)↑10.61 (0.4)15/15
ad-CMA-ES Gissler 0.81 (0.2)↑11.1 (0.7)1.1 (0.7)0.73 (0.2)↑10.92 (0.2)0.54 (0.2)↑00.45 (0.1)↑015/15
adm-CMA-ES Gissler 0.76 (0.2)0.69 (0.6)1.1 (0.7)0.74 (0.5)0.85 (0.2)0.51 (0.2)↑10.48 (0.4)↑115/15
c-CMA-ES Gissler 1.0 (0.2)0.78 (0.9)0.99 (0.4)0.67 (0.2)0.67 (0.2)↑00.50 (0.3)↑10.45 (0.2)↑115/15
cd-CMA-ES Gissler 0.86 (0.2)0.41 (0.2)↑10.99 (0.7)0.81 (0.3)0.76 (0.2)↑10.47 (0.1)↑10.40 (8e-3)↑015/15
cdm-CMA-ES Gissler 0.92 (0.2)0.51 (0.8)0.95 (0.5)0.70 (0.2)0.82 (0.5)0.56 (0.3)↑10.50 (0.2)↑115/15
d-CMA-ES Gissler 0.89 (0.2)0.68 (1.0)0.91 (0.4)0.68 (0.4)0.71 (0.2)↑00.41 (0.1)↑10.39 (0.0)↑015/15
default-CMA-ES Gissler 0.74 (0.2)↑10.47 (0.8)1.1 (0.5)0.69 (0.3)0.71 (0.2)↑00.43 (0.3)↑00.39 (0.2)↑015/15
dm-CMA-ES Gissler 0.82 (0.1)↑10.47 (0.9)1.00 (0.5)0.83 (0.4)0.72 (0.2)↑10.57 (0.3)↑00.45 (0.2)↑015/15
m-SDWOA Espinoza 9.0 (3)70 (88)∞∞∞∞∞4e50/15
s-CMA-ES Gissler 0.98 (0.3)0.30 (0.1)↑00.97 (0.4)0.71 (0.3)0.83 (0.5)0.45 (0.3)↑00.36 (0.2)↑015/15
sc-CMA-ES Gissler 1.0 (0.3)0.63 (0.7)0.83 (0.7)0.66 (0.4)0.84 (0.4)0.50 (0.3)↑10.46 (0.2)↑015/15
scd-CMA-ES Gissler 1.1 (0.3)0.75 (0.7)0.88 (0.4)0.65 (0.2)0.75 (0.2)↑10.49 (0.4)0.43 (0.3)↑015/15
scdm-CMA-ES Gissler 1.1 (0.3)0.82 (0.7)0.88 (0.4)0.59 (0.2)↑10.73 (0.2)↑00.44 (0.3)↑00.40 (0.3)↑015/15
sd-CMA-ES Gissler 1.1 (0.3)0.87 (0.8)0.88 (0.4)0.77 (0.3)0.78 (0.2)↑10.43 (0.1)↑10.45 (0.4)↑015/15
sdm-CMA-ES Gissler 0.97 (0.4)0.48 (0.7)0.75 (0.1)↑10.59 (0.1)↑10.59 (0.2)↑00.53 (0.3)↑00.48 (0.3)↑015/15

Δ fopt
f19, 40-D		 1e1
1		 1e0
1		 1e-1
1.4e6		 1e-2
1.7e7		 1e-3
2.6e7		 1e-5
4.5e7		 1e-7
4.5e7		 #succ
8/15
E-WOA Espinoza 4466 (1823)∞∞∞∞∞∞4e50/15
WOA Espinoza 547 (202)2.9e5 (3e5)∞∞∞∞∞4e50/15
a-CMA-ES Gissler 1 (0)1 (0)1.5 (1)0.56 (0.3)0.48 (0.3)0.42 (0.4)0.42 (0.4)6/15
ad-CMA-ES Gissler 1 (0)1 (0)1.0 (0.9)1.7 (2)1.5 (2)∞∞8e60/15
adm-CMA-ES Gissler 1 (0)1 (0)1.2 (0.7)0.41 (0.1)↑10.38 (0.2)0.23 (0.2)0.24 (0.2)10/15
c-CMA-ES Gissler 1 (0)1 (0)1.5 (0.6)7.1 (9)∞∞∞8e60/15
cd-CMA-ES Gissler 1 (0)1 (0)1.7 (0.4)∞∞∞∞8e60/15
cdm-CMA-ES Gissler 1 (0)1 (0)1.9 (0.9)7.1 (9)∞∞∞8e60/15
d-CMA-ES Gissler 1 (0)1 (0)1.4 (0.8)3.4 (4)∞∞∞8e60/15
default-CMA-ES Gissler 1 (0)1 (0)1.4 (1)1.7 (2)4.6 (5)∞∞8e60/15
dm-CMA-ES Gissler 1 (0)1 (0)1.2 (1)1.1 (1.0)1.5 (1)∞∞8e60/15
m-SDWOA Espinoza 783 (194)5.9e5 (6e5)∞∞∞∞∞4e50/15
s-CMA-ES Gissler 1 (0)1 (0)1.1 (0.5)0.72 (0.4)1.1 (0.8)0.86 (1)0.86 (1.0)3/15
sc-CMA-ES Gissler 1 (0)1 (0)1.3 (1.0)7.1 (6)4.7 (7)∞∞8e60/15
scd-CMA-ES Gissler 1 (0)1 (0)1.4 (1.0)3.4 (4)∞∞∞8e60/15
scdm-CMA-ES Gissler 1 (0)1 (0)1.5 (1)6.9 (8)∞∞∞8e60/15
sd-CMA-ES Gissler 1 (0)1 (0)1.0 (0.9)2.1 (3)∞∞∞8e60/15
sdm-CMA-ES Gissler 1 (0)1 (0)1.3 (1)1.1 (0.8)4.7 (5)2.6 (3)2.6 (3)1/15

Δ fopt
f20, 40-D		 1e1
222		 1e0
1.3e5		 1e-1
1.6e8		 1e-2
∞		 1e-3
∞		 1e-5
∞		 1e-7
∞		 #succ
0/15
E-WOA Espinoza 88 (55)∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 2.6 (0.3)6.6 (0.3)0.12 (0.2)∞∞∞∞8e60/15
ad-CMA-ES Gissler 3.0 (0.4)6.3 (0.3)∞∞∞∞∞7e60/15
adm-CMA-ES Gissler 2.8 (0.5)6.3 (0.5)0.04 (0.0)∞∞∞∞8e60/15
c-CMA-ES Gissler 3.3 (0.6)9.1 (1)∞∞∞∞∞8e60/15
cd-CMA-ES Gissler 3.7 (0.5)16 (18)∞∞∞∞∞7e60/15
cdm-CMA-ES Gissler 3.7 (0.5)11 (5)∞∞∞∞∞8e60/15
d-CMA-ES Gissler 3.7 (0.3)17 (19)∞∞∞∞∞7e60/15
default-CMA-ES Gissler 3.2 (0.4)12 (5)∞∞∞∞∞8e60/15
dm-CMA-ES Gissler 3.6 (0.5)10 (4)∞∞∞∞∞8e60/15
m-SDWOA Espinoza 17 (3)∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 3.7 (2)12 (5)∞∞∞∞∞8e60/15
sc-CMA-ES Gissler 3.8 (1)10 (5)∞∞∞∞∞8e60/15
scd-CMA-ES Gissler 4.2 (1.0)15 (9)∞∞∞∞∞7e60/15
scdm-CMA-ES Gissler 3.6 (1.0)12 (5)∞∞∞∞∞8e60/15
sd-CMA-ES Gissler 4.1 (1)16 (18)∞∞∞∞∞7e60/15
sdm-CMA-ES Gissler 4.1 (1)12 (5)∞∞∞∞∞8e60/15

Δ fopt
f21, 40-D		 1e1
1044		 1e0
21144		 1e-1
1.0e5		 1e-2
1.0e5		 1e-3
1.0e5		 1e-5
1.0e5		 1e-7
1.0e5		 #succ
26/30
E-WOA Espinoza 357 (481)268 (378)57 (73)57 (62)58 (76)∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 1.5 (4)36 (78)35 (34)34 (35)34 (40)34 (45)34 (54)6/15
ad-CMA-ES Gissler 3.7 (5)46 (83)27 (23)27 (22)27 (23)27 (25)27 (28)8/15
adm-CMA-ES Gissler 0.62 (0.1)↑061 (123)51 (59)51 (61)51 (59)50 (44)50 (56)6/15
c-CMA-ES Gissler 2.4 (4)59 (117)49 (62)49 (61)49 (49)49 (67)48 (37)5/15
cd-CMA-ES Gissler 0.69 (0.2)↑064 (61)52 (88)52 (83)52 (68)51 (58)51 (62)5/15
cdm-CMA-ES Gissler 3.2 (5)68 (118)44 (74)44 (75)44 (58)44 (70)44 (52)6/15
d-CMA-ES Gissler 53 (13)69 (78)53 (52)53 (63)53 (58)53 (87)53 (55)5/15
default-CMA-ES Gissler 0.69 (0.2)↑179 (118)68 (86)67 (73)67 (67)67 (78)66 (60)4/15
dm-CMA-ES Gissler 8.3 (24)160 (171)84 (82)84 (127)84 (75)84 (98)83 (79)4/15
m-SDWOA Espinoza 36 (5)39 (47)11 (14)12 (12)17 (17)27 (24)28 (27)2/15
s-CMA-ES Gissler 2.9 (5)81 (117)68 (86)68 (98)68 (97)67 (84)67 (60)4/15
sc-CMA-ES Gissler 2.3 (0.4)104 (177)50 (56)49 (61)49 (55)49 (67)49 (54)5/15
scd-CMA-ES Gissler 6.0 (12)35 (75)38 (38)38 (43)37 (31)37 (37)37 (61)6/15
scdm-CMA-ES Gissler 0.81 (0.3)128 (184)118 (168)117 (115)117 (145)116 (109)116 (190)3/15
sd-CMA-ES Gissler 1.4 (0.3)112 (121)103 (112)103 (150)103 (126)102 (126)102 (129)3/15
sdm-CMA-ES Gissler 5.2 (5)61 (88)35 (45)35 (41)35 (32)35 (65)35 (50)7/15

Δ fopt
f22, 40-D		 1e1
3090		 1e0
35442		 1e-1
6.5e5		 1e-2
6.5e5		 1e-3
6.5e5		 1e-5
6.5e5		 1e-7
6.5e5		 #succ
8/30
E-WOA Espinoza 41 (65)19 (23)∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 120 (374)33 (34)∞∞∞∞∞2e60/15
ad-CMA-ES Gissler 118 (379)57 (129)∞∞∞∞∞2e60/15
adm-CMA-ES Gissler 272 (597)113 (152)∞∞∞∞∞4e60/15
c-CMA-ES Gissler 62 (7)88 (124)∞∞∞∞∞2e60/15
cd-CMA-ES Gissler 177 (418)83 (73)∞∞∞∞∞3e60/15
cdm-CMA-ES Gissler 157 (471)140 (192)∞∞∞∞∞3e60/15
d-CMA-ES Gissler 130 (421)110 (93)∞∞∞∞∞3e60/15
default-CMA-ES Gissler 205 (616)80 (175)∞∞∞∞∞2e60/15
dm-CMA-ES Gissler 171 (509)83 (151)∞∞∞∞∞3e60/15
m-SDWOA Espinoza 50 (97)46 (57)∞∞∞∞∞4e50/15
s-CMA-ES Gissler 129 (406)63 (72)∞∞∞∞∞2e60/15
sc-CMA-ES Gissler 130 (414)107 (175)∞∞∞∞∞2e60/15
scd-CMA-ES Gissler 66 (31)70 (90)∞∞∞∞∞3e60/15
scdm-CMA-ES Gissler 176 (536)144 (202)∞∞∞∞∞4e60/15
sd-CMA-ES Gissler 305 (837)113 (247)∞∞∞∞∞3e60/15
sdm-CMA-ES Gissler 3.4 (4)76 (90)∞∞∞∞∞3e60/15

Δ fopt
f23, 40-D		 1e1
7.0		 1e0
11925		 1e-1
75453		 1e-2
6.6e5		 1e-3
1.3e6		 1e-5
3.2e6		 1e-7
3.4e6		 #succ
15/15
E-WOA Espinoza 1 (1)∞∞∞∞∞∞4e50/15
WOA Espinoza 1 (1)∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 1.7 (1)0.55 (0.1)↑00.61 (0.3)↑10.33 (0.2)↑01.1 (0.5)2.0 (4)2.0 (2)9/15
ad-CMA-ES Gissler 1.4 (1)0.55 (0.1)↑00.58 (0.6)0.35 (0.2)↑02.0 (3)16 (17)16 (17)2/15
adm-CMA-ES Gissler 2.0 (2)1.0 (0.1)0.52 (0.5)0.36 (0.2)↑00.56 (0.2)↑13.2 (6)3.1 (4)7/15
c-CMA-ES Gissler 1.6 (2)339 (336)122 (106)∞∞∞∞8e60/15
cd-CMA-ES Gissler 1.5 (1)1009 (1007)293 (424)∞∞∞∞8e60/15
cdm-CMA-ES Gissler 1.2 (1)451 (840)691 (663)∞∞∞∞8e60/15
d-CMA-ES Gissler 1.7 (2)1011 (1345)1486 (1485)∞∞∞∞8e60/15
default-CMA-ES Gissler 1.6 (1)451 (338)426 (610)170 (194)∞∞∞8e60/15
dm-CMA-ES Gissler 2.1 (2)452 (1174)293 (371)170 (206)∞∞∞8e60/15
m-SDWOA Espinoza 1 (1)∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 1.2 (1)171 (337)216 (264)80 (97)∞∞∞8e60/15
sc-CMA-ES Gissler 1.1 (1)337 (337)424 (477)∞∞∞∞8e60/15
scd-CMA-ES Gissler 1.9 (1)248 (339)123 (187)170 (200)∞∞∞8e60/15
scdm-CMA-ES Gissler 1.3 (1)341 (507)214 (319)170 (279)∞∞∞8e60/15
sd-CMA-ES Gissler 1.9 (2)339 (840)214 (265)∞∞∞∞8e60/15
sdm-CMA-ES Gissler 1.8 (2)52 (4)95 (80)170 (188)∞∞∞8e60/15

Δ fopt
f24, 40-D		 1e1
5.8e6		 1e0
9.8e7		 1e-1
3.0e8		 1e-2
3.0e8		 1e-3
3.0e8		 1e-5
3.0e8		 1e-7
3.0e8		 #succ
1/15
E-WOA Espinoza ∞∞∞∞∞∞∞4e50/15
WOA Espinoza ∞∞∞∞∞∞∞4e50/15
a-CMA-ES Gissler 3.5 (3)0.21 (0.2)∞∞∞∞∞8e60/15
ad-CMA-ES Gissler 1.4 (1)0.11 (0.1)∞∞∞∞∞8e60/15
adm-CMA-ES Gissler 2.7 (5)∞∞∞∞∞∞8e60/15
c-CMA-ES Gissler 8.9 (13)∞∞∞∞∞∞8e60/15
cd-CMA-ES Gissler 5.1 (4)0.30 (0.3)0.40 (0.4)0.40 (0.7)0.40 (0.5)0.40 (0.3)∞8e60/15
cdm-CMA-ES Gissler ∞∞∞∞∞∞∞8e60/15
d-CMA-ES Gissler 6.6 (7)0.61 (0.8)∞∞∞∞∞8e60/15
default-CMA-ES Gissler 8.9 (13)∞∞∞∞∞∞8e60/15
dm-CMA-ES Gissler 9.0 (10)∞∞∞∞∞∞8e60/15
m-SDWOA Espinoza ∞∞∞∞∞∞∞4e50/15
s-CMA-ES Gissler 19 (10)∞∞∞∞∞∞8e60/15
sc-CMA-ES Gissler 9.0 (12)∞∞∞∞∞∞8e60/15
scd-CMA-ES Gissler 2.5 (3)0.23 (0.3)0.40 (0.4)0.40 (0.4)0.40 (0.4)∞∞8e60/15
scdm-CMA-ES Gissler ∞∞∞∞∞∞∞8e60/15
sd-CMA-ES Gissler 5.1 (4)0.40 (0.5)0.20 (0.2)0.20 (0.2)0.20 (0.2)0.20 (0.3)0.40 (0.7)1/15
sdm-CMA-ES Gissler 19 (20)∞∞∞∞∞∞8e60/15

Expected runtime (ERT in number of f-evaluations) divided by the respective best ERT measured during BBOB-2009 (when finite) in different dimensions. This ERT ratio and, in braces as dispersion measure, the half difference between 10 and 90%-tile of (bootstrapped) run lengths appear for each algorithm and target, the corresponding reference ERT  in the first row. The different target ∆f-values are shown in the top row. #succ is the number of trials that reached the (final) target fopt+ 10−8. The median number of conducted function evaluations is additionally given in italics, if the target in the last column was never reached. The best entry is marked by a star when the largest p-value of pairwise rank-sum tests with the other algorithms either obeys 0.01 < p ≤ 0.05 or 10−k−1 < p ≤ 10−k when the star is followed by the number k, with Bonferroni correction by the number of functions (24). A ↑ signifies the number of trials that were worse than the ERT of the best algorithm from BBOB 2009 shown only when less than 10 percent were worse and the ERT was better. Best results are printed in bold.