Overview page

Table showing the ERT in number of evaluations divided by the best ERT measured during BBOB-2009

Last dimension | Dimension = 2 | Next dimension

Δ fopt
f1, 2-D
1e1
2.0
1e0
6.0
1e-1
6.0
1e-2
6.0
1e-3
6.0
1e-5
6.0
1e-7
6.0
#succ
15/15
BIRMIN Kudela 0.93 (0.5)2.1 (1)3.8 (2)6.8 (4)26 (43)716 (1353)3115 (8335)12/15
DIRECT-REV Kudela 1.5 (1)2.0 (1)3.2 (0.5)3.6 (0.6)3.6 (0.8)★25.3 (2)6.1 (2)15/15
E-WOA Espinoza 1.6 (2)6.9 (6)49 (48)95 (58)183 (102)388 (147)668 (264)15/15
I-DBDP-GL Kudela 0.93 (0.5)1.7 (1)4.7 (3)13 (3)22 (10)61 (14)116 (18)15/15
WOA Espinoza 1.6 (2)6.5 (6)27 (23)50 (32)95 (52)532 (221)985 (687)12/15
a-CMA-ES Gissler 1.3 (1)2.3 (2)7.0 (3)11 (4)17 (5)27 (6)36 (7)15/15
ad-CMA-ES Gissler 1.7 (1)2.8 (2)6.3 (3)11 (6)17 (6)25 (6)38 (4)15/15
adm-CMA-ES Gissler 1.7 (2)3.3 (2)7.1 (3)13 (7)17 (5)28 (5)39 (7)15/15
c-CMA-ES Gissler 1.4 (1)2.6 (2)7.2 (3)13 (3)18 (5)28 (6)37 (11)15/15
cd-CMA-ES Gissler 1.6 (1)2.6 (2)6.7 (4)13 (4)16 (5)29 (5)39 (5)15/15
cdm-CMA-ES Gissler 2.1 (2)3.0 (4)8.1 (5)13 (7)19 (8)30 (4)41 (6)15/15
cma-bp-bbob Brockhoff 1.7 (1)3.7 (3)8.2 (5)12 (6)17 (6)26 (9)36 (6)15/15
cma-bt-bbob Brockhoff 2.7 (2)2.9 (1)7.2 (4)13 (5)17 (7)27 (6)38 (11)15/15
d-CMA-ES Gissler 1.3 (0.8)2.9 (3)6.4 (4)11 (6)17 (5)29 (6)40 (5)15/15
default-CMA-ES Gissler 1.9 (2)2.6 (2)6.2 (3)11 (5)16 (4)26 (4)36 (6)15/15
dm-CMA-ES Gissler 1.8 (2)2.6 (2)7.7 (5)11 (6)16 (5)27 (6)40 (6)15/15
m-SDWOA Espinoza 1.6 (2)7.5 (6)40 (33)120 (37)189 (58)370 (66)607 (72)15/15
s-CMA-ES Gissler 1.6 (1)2.4 (2)6.3 (5)10 (5)15 (7)25 (7)35 (6)15/15
sc-CMA-ES Gissler 1.8 (2)2.3 (2)6.6 (4)11 (5)16 (7)26 (6)37 (9)15/15
scd-CMA-ES Gissler 1.3 (1)2.6 (2)5.7 (4)12 (4)16 (4)27 (5)36 (5)15/15
scdm-CMA-ES Gissler 2.2 (2)2.7 (2)6.7 (3)11 (3)16 (5)26 (5)38 (6)15/15
sd-CMA-ES Gissler 1.7 (2)2.7 (3)6.5 (4)10 (5)15 (4)27 (4)37 (8)15/15
sdm-CMA-ES Gissler 1.8 (2)3.3 (2)7.9 (4)12 (2)17 (4)25 (6)35 (6)15/15

Δ fopt
f2, 2-D
1e1
16
1e0
19
1e-1
25
1e-2
25
1e-3
26
1e-5
28
1e-7
29
#succ
15/15
BIRMIN Kudela 3.1 (2)2.8 (2)2.6 (1)3.1 (1)3.3 (1)3.5 (1)3.8 (1)15/15
DIRECT-REV Kudela 1.5 (0.6)1.5 (0.6)1.7 (0.8)2.1 (0.7)2.4 (0.7)2.7 (0.5)3.1 (0.7)14/15
E-WOA Espinoza 188 (148)195 (143)207 (56)239 (55)258 (78)295 (64)339 (51)15/15
I-DBDP-GL Kudela 22 (8)27 (12)28 (14)43 (13)54 (13)68 (16)101 (28)15/15
WOA Espinoza 597 (685)3096 (1757)1.1e4 (1e4)1.1e4 (1e4)1.1e4 (1e4)1.0e4 (1e4)1.0e4 (1e4)0/15
a-CMA-ES Gissler 8.8 (4)10 (4)9.3 (3)11 (2)11 (2)12 (2)14 (2)15/15
ad-CMA-ES Gissler 7.9 (6)10 (5)9.3 (3)11 (3)12 (3)13 (3)15 (3)15/15
adm-CMA-ES Gissler 8.0 (6)12 (4)10 (3)11 (2)13 (2)14 (2)16 (2)15/15
c-CMA-ES Gissler 8.9 (7)11 (6)11 (3)12 (3)12 (3)14 (3)15 (3)15/15
cd-CMA-ES Gissler 6.2 (3)9.5 (6)9.1 (4)10 (3)11 (4)13 (2)15 (3)15/15
cdm-CMA-ES Gissler 9.3 (7)11 (4)10 (3)12 (3)12 (3)15 (3)16 (2)15/15
cma-bp-bbob Brockhoff 9.1 (5)12 (6)11 (4)12 (3)13 (4)14 (3)16 (3)15/15
cma-bt-bbob Brockhoff 8.3 (6)13 (5)11 (3)12 (2)13 (3)14 (2)16 (2)15/15
d-CMA-ES Gissler 12 (6)13 (3)11 (2)13 (2)13 (3)14 (2)16 (2)15/15
default-CMA-ES Gissler 7.0 (5)10 (5)10 (2)11 (2)12 (2)13 (2)15 (1)15/15
dm-CMA-ES Gissler 8.3 (5)10 (6)10 (3)11 (4)12 (3)14 (3)15 (3)15/15
m-SDWOA Espinoza 42 (18)68 (19)76 (25)99 (23)121 (13)153 (28)193 (13)15/15
s-CMA-ES Gissler 6.5 (6)12 (4)11 (3)12 (3)12 (3)13 (3)15 (3)15/15
sc-CMA-ES Gissler 8.0 (6)13 (6)12 (4)13 (4)14 (3)14 (4)16 (3)15/15
scd-CMA-ES Gissler 8.9 (4)13 (4)11 (4)13 (3)13 (3)14 (4)16 (4)15/15
scdm-CMA-ES Gissler 8.6 (8)13 (6)11 (4)12 (3)13 (3)15 (3)16 (3)15/15
sd-CMA-ES Gissler 9.5 (6)11 (7)10 (4)11 (3)12 (3)13 (3)15 (3)15/15
sdm-CMA-ES Gissler 9.0 (8)14 (5)11 (4)13 (3)13 (2)14 (2)16 (3)15/15

Δ fopt
f3, 2-D
1e1
15
1e0
271
1e-1
445
1e-2
446
1e-3
450
1e-5
454
1e-7
464
#succ
15/15
BIRMIN Kudela 1.7 (1)0.61 (0.5)0.82 (0.4)0.98 (0.8)1.1 (1)17 (45)79 (216)11/15
DIRECT-REV Kudela 1.7 (2)0.85 (0.8)1.4 (1.0)1.4 (1.0)1.4 (1.0)1.4 (1.0)1.4 (0.9)15/15
E-WOA Espinoza 5.9 (9)7.0 (4)10 (8)13 (8)15 (8)19 (9)22 (10)14/15
I-DBDP-GL Kudela 1.9 (1)1.0 (0.6)0.87 (0.4)1.3 (0.3)1.7 (0.2)2.8 (0.5)4.4 (0.7)15/15
WOA Espinoza 5.1 (7)13 (13)28 (27)31 (27)41 (48)70 (48)145 (125)0/15
a-CMA-ES Gissler 2.5 (2)2.9 (3)5.8 (4)7.3 (7)7.9 (8)8.2 (9)8.4 (9)15/15
ad-CMA-ES Gissler 1.8 (1)2.4 (3)6.7 (12)7.6 (15)7.9 (16)8.2 (17)8.3 (17)15/15
adm-CMA-ES Gissler 2.7 (2)2.4 (2)4.8 (4)5.0 (4)5.2 (4)5.4 (4)5.5 (4)15/15
c-CMA-ES Gissler 2.6 (2)2.5 (4)6.1 (7)7.2 (7)7.3 (8)8.1 (8)8.2 (8)15/15
cd-CMA-ES Gissler 2.1 (2)4.1 (4)7.5 (6)9.1 (8)9.3 (9)10 (9)10 (9)15/15
cdm-CMA-ES Gissler 2.4 (2)4.6 (4)4.7 (3)5.0 (4)5.0 (4)5.3 (4)5.4 (4)15/15
cma-bp-bbob Brockhoff 2.4 (2)3.8 (3)7.5 (5)10 (15)10 (16)10 (17)10 (16)14/15
cma-bt-bbob Brockhoff 5.7 (2)4.5 (4)6.8 (7)8.1 (8)9.1 (9)10 (9)10 (9)14/15
d-CMA-ES Gissler 1.9 (0.9)2.0 (2)7.7 (7)8.1 (8)8.1 (8)8.7 (8)9.1 (8)15/15
default-CMA-ES Gissler 1.9 (1)2.4 (3)4.9 (4)5.7 (5)6.2 (5)6.5 (5)6.6 (5)15/15
dm-CMA-ES Gissler 3.2 (4)4.7 (6)9.3 (11)10 (15)11 (15)11 (15)11 (15)15/15
m-SDWOA Espinoza 5.9 (7)5.5 (5)8.1 (3)12 (4)15 (3)19 (2)21 (2)15/15
s-CMA-ES Gissler 3.1 (3)2.3 (2)5.6 (6)6.0 (7)6.1 (7)6.4 (7)6.5 (7)15/15
sc-CMA-ES Gissler 2.4 (2)4.8 (6)5.7 (6)7.1 (8)7.2 (8)7.5 (8)7.5 (8)15/15
scd-CMA-ES Gissler 3.6 (4)5.1 (6)6.1 (4)8.7 (4)9.1 (4)9.3 (4)10 (4)15/15
scdm-CMA-ES Gissler 2.1 (1)2.1 (3)4.8 (5)5.4 (5)5.7 (5)6.0 (5)6.1 (5)15/15
sd-CMA-ES Gissler 3.5 (2)2.1 (3)4.0 (3)4.2 (3)4.7 (4)4.9 (4)5.1 (4)15/15
sdm-CMA-ES Gissler 2.4 (2)2.1 (2)7.7 (12)9.4 (13)10 (13)10 (13)11 (13)15/15

Δ fopt
f4, 2-D
1e1
22
1e0
344
1e-1
459
1e-2
496
1e-3
523
1e-5
544
1e-7
566
#succ
15/15
BIRMIN Kudela 1.6 (1)0.70 (0.8)1.3 (1)2.2 (4)2.2 (4)12 (23)89 (89)10/15
DIRECT-REV Kudela 1.4 (1)0.72 (0.8)1.2 (1)1.2 (1)1.1 (1)1.1 (1.0)1.1 (1.0)15/15
E-WOA Espinoza 11 (10)8.9 (5)31 (30)32 (22)32 (26)39 (37)46 (53)8/15
I-DBDP-GL Kudela 1.7 (0.8)1.1 (0.7)1.3 (1.0)1.6 (1)1.9 (0.8)3.0 (1)4.2 (0.9)15/15
WOA Espinoza 7.8 (6)18 (29)58 (56)71 (83)69 (65)97 (95)517 (680)0/15
a-CMA-ES Gissler 3.3 (2)5.1 (5)54 (43)81 (105)91 (120)99 (121)101 (125)15/15
ad-CMA-ES Gissler 1.6 (0.9)10 (16)104 (106)247 (302)372 (558)370 (686)360 (392)10/15
adm-CMA-ES Gissler 1.5 (1)7.2 (11)76 (99)179 (278)227 (289)234 (281)242 (338)14/15
c-CMA-ES Gissler 1.8 (1)4.4 (5)57 (50)123 (197)129 (211)143 (228)143 (232)15/15
cd-CMA-ES Gissler 1.8 (1)9.0 (10)60 (96)204 (254)351 (669)350 (512)342 (377)10/15
cdm-CMA-ES Gissler 1.5 (0.9)5.8 (11)55 (86)93 (103)101 (106)109 (116)116 (126)15/15
cma-bp-bbob Brockhoff 1.9 (1)3.8 (5)105 (98)140 (147)134 (86)175 (195)254 (288)1/15
cma-bt-bbob Brockhoff 2.2 (2)8.9 (11)52 (59)77 (75)119 (106)116 (254)112 (93)4/15
d-CMA-ES Gissler 2.3 (1)6.1 (6)70 (93)262 (302)294 (462)307 (265)302 (453)12/15
default-CMA-ES Gissler 1.9 (1)6.1 (9)34 (30)123 (218)147 (236)157 (250)160 (260)15/15
dm-CMA-ES Gissler 2.3 (2)6.9 (10)32 (36)115 (191)213 (243)235 (278)239 (295)14/15
m-SDWOA Espinoza 7.4 (6)6.1 (3)8.7 (5)14 (3)16 (2)18 (2)20 (2)15/15
s-CMA-ES Gissler 1.5 (1)6.5 (5)61 (76)100 (103)109 (117)121 (115)123 (120)15/15
sc-CMA-ES Gissler 2.8 (2)8.9 (10)54 (48)93 (113)98 (129)106 (126)107 (131)15/15
scd-CMA-ES Gissler 1.8 (0.9)8.8 (10)86 (79)179 (265)242 (299)262 (490)256 (263)11/15
scdm-CMA-ES Gissler 2.7 (2)5.3 (5)45 (57)88 (88)125 (206)138 (237)143 (243)15/15
sd-CMA-ES Gissler 1.6 (1)5.3 (11)77 (98)202 (192)285 (492)337 (325)331 (344)11/15
sdm-CMA-ES Gissler 2.4 (1)8.3 (10)61 (57)135 (116)167 (228)192 (262)199 (276)15/15

Δ fopt
f5, 2-D
1e1
4.0
1e0
4.0
1e-1
4.0
1e-2
4.0
1e-3
4.0
1e-5
4.0
1e-7
4.0
#succ
15/15
BIRMIN Kudela 4.6 (1)11 (3)13 (3)16 (4)17 (4)17 (4)1e50/15
DIRECT-REV Kudela 4.8 (0)10 (0)10 (0)14 (0)15 (0)16 (0)1e50/15
E-WOA Espinoza 8.1 (9)39 (21)48 (27)48 (27)48 (27)48 (27)48 (27)15/15
I-DBDP-GL Kudela 2.9 (0.1)29 (0.4)82 (0.6)167 (0.9)331 (2)692 (4)1283 (6)15/15
WOA Espinoza 8.1 (9)37 (15)42 (15)42 (15)42 (15)42 (15)42 (15)15/15
a-CMA-ES Gissler 3.1 (1)6.9 (4)7.1 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)15/15
ad-CMA-ES Gissler 4.5 (3)7.0 (5)7.2 (5)7.2 (5)7.2 (5)7.2 (5)7.2 (5)15/15
adm-CMA-ES Gissler 3.8 (2)7.0 (5)7.7 (5)7.8 (5)7.8 (5)7.8 (5)7.8 (5)15/15
c-CMA-ES Gissler 3.5 (2)6.7 (3)7.1 (4)7.1 (4)7.1 (4)7.1 (4)7.1 (4)15/15
cd-CMA-ES Gissler 3.0 (1)6.3 (4)7.3 (5)7.3 (5)7.3 (5)7.3 (5)7.3 (5)15/15
cdm-CMA-ES Gissler 3.2 (2)6.4 (3)6.5 (3)6.5 (3)6.5 (3)6.5 (3)6.5 (3)15/15
cma-bp-bbob Brockhoff 3.3 (2)10 (13)12 (13)13 (14)13 (14)13 (14)13 (14)15/15
cma-bt-bbob Brockhoff 3.8 (2)15 (9)23 (7)32 (8)39 (8)53 (13)69 (10)15/15
d-CMA-ES Gissler 3.3 (2)6.5 (2)7.0 (3)7.2 (3)7.2 (3)7.2 (3)7.2 (3)15/15
default-CMA-ES Gissler 3.2 (2)6.0 (4)6.2 (5)6.2 (5)6.2 (5)6.2 (5)6.2 (5)15/15
dm-CMA-ES Gissler 4.0 (3)7.2 (4)7.7 (4)7.8 (4)7.8 (4)7.8 (4)7.8 (4)15/15
m-SDWOA Espinoza 8.1 (9)61 (38)78 (24)78 (24)78 (24)78 (24)78 (24)15/15
s-CMA-ES Gissler 3.9 (1)8.1 (5)8.7 (5)8.8 (4)9.0 (6)9.0 (6)9.0 (6)15/15
sc-CMA-ES Gissler 3.2 (2)7.2 (6)8.0 (6)8.0 (6)8.0 (6)8.0 (6)8.0 (6)15/15
scd-CMA-ES Gissler 3.1 (2)6.5 (4)7.1 (3)7.1 (3)7.2 (3)7.2 (3)7.2 (3)15/15
scdm-CMA-ES Gissler 3.2 (2)6.1 (3)7.0 (3)7.0 (3)7.0 (3)7.0 (3)7.0 (3)15/15
sd-CMA-ES Gissler 3.3 (2)7.5 (2)7.8 (2)7.8 (2)7.8 (2)7.8 (2)7.8 (2)15/15
sdm-CMA-ES Gissler 3.6 (2)7.9 (9)8.2 (9)8.2 (9)8.2 (9)8.2 (9)8.2 (9)15/15

Δ fopt
f6, 2-D
1e1
13
1e0
23
1e-1
41
1e-2
54
1e-3
67
1e-5
95
1e-7
124
#succ
15/15
BIRMIN Kudela 1.6 (2)2.3 (1)1.7 (0.5)1.5 (0.5)1.3 (0.4)1.2 (0.4)1.1 (0.4)15/15
DIRECT-REV Kudela 2.0 (2)2.3 (0.8)1.5 (0.3)1.3 (0.4)1.2 (0.4)1.2 (0.5)1.1 (0.4)15/15
E-WOA Espinoza 3.3 (3)12 (17)40 (35)92 (96)269 (305)285 (474)307 (368)6/15
I-DBDP-GL Kudela 1.3 (1)2.7 (1)4.0 (2)6.0 (3)8.0 (3)13 (3)18 (3)15/15
WOA Espinoza 3.0 (3)8.2 (7)17 (15)39 (50)125 (170)271 (438)690 (801)3/15
a-CMA-ES Gissler 1.7 (2)3.0 (1)2.8 (2)3.5 (2)3.6 (1)3.8 (0.6)3.8 (0.7)15/15
ad-CMA-ES Gissler 2.0 (2)3.0 (1)3.2 (1)3.3 (1)3.7 (0.9)3.6 (0.6)3.7 (0.6)15/15
adm-CMA-ES Gissler 1.6 (2)3.3 (2)3.6 (1)3.7 (1.0)3.7 (0.7)3.8 (0.6)3.7 (0.4)15/15
c-CMA-ES Gissler 1.5 (2)3.2 (2)3.3 (1)3.4 (1)3.5 (1)3.7 (0.8)3.7 (0.6)15/15
cd-CMA-ES Gissler 1.7 (2)3.2 (2)3.0 (2)3.3 (2)3.8 (0.9)3.9 (1)3.8 (0.7)15/15
cdm-CMA-ES Gissler 1.8 (2)3.4 (2)3.5 (2)4.0 (1.0)3.9 (0.9)4.1 (0.6)4.0 (0.7)15/15
cma-bp-bbob Brockhoff 1.4 (2)3.3 (2)3.0 (1)3.3 (2)3.6 (1)3.8 (0.6)3.8 (0.5)15/15
cma-bt-bbob Brockhoff 2.5 (2)3.9 (2)3.2 (1)4.0 (1)3.9 (1)3.8 (0.7)4.0 (0.5)15/15
d-CMA-ES Gissler 1.7 (2)2.6 (2)3.0 (1)3.2 (1)3.6 (0.8)3.5 (0.6)3.7 (0.6)15/15
default-CMA-ES Gissler 1.8 (2)4.0 (3)3.4 (2)3.7 (1)3.9 (0.9)3.8 (0.7)3.9 (0.4)15/15
dm-CMA-ES Gissler 1.3 (1)3.2 (2)3.5 (1)3.7 (0.9)4.0 (1)3.8 (0.7)3.9 (0.6)15/15
m-SDWOA Espinoza 3.3 (3)10 (7)18 (14)31 (14)42 (9)50 (6)55 (9)15/15
s-CMA-ES Gissler 1.7 (2)3.2 (2)3.2 (1)3.3 (0.6)3.7 (1)3.9 (0.9)3.7 (0.9)15/15
sc-CMA-ES Gissler 1.4 (1)3.5 (3)3.1 (2)3.2 (1)3.7 (1)3.8 (1)3.9 (0.8)15/15
scd-CMA-ES Gissler 1.5 (2)3.1 (2)3.1 (1)3.7 (1)3.9 (1)3.8 (0.8)3.7 (0.9)15/15
scdm-CMA-ES Gissler 0.98 (0.8)2.2 (1)3.0 (2)3.1 (1)3.7 (1)3.6 (0.6)3.7 (0.8)15/15
sd-CMA-ES Gissler 1.7 (1)3.3 (2)3.1 (2)3.5 (1)3.6 (1)3.9 (0.9)3.8 (0.6)15/15
sdm-CMA-ES Gissler 2.2 (3)3.0 (1)3.3 (2)3.4 (1.0)3.5 (1)3.6 (0.8)3.7 (0.6)15/15

Δ fopt
f7, 2-D
1e1
3.0
1e0
21
1e-1
60
1e-2
193
1e-3
217
1e-5
217
1e-7
241
#succ
15/15
BIRMIN Kudela 3.2 (2)2.0 (2)2.3 (2)1.4 (1)2.1 (3)2.1 (3)3.1 (3)15/15
DIRECT-REV Kudela 2.2 (2)1.6 (1)1.5 (0.7)0.86 (0.4)1.0 (0.4)1.0 (0.4)1.4 (0.6)15/15
E-WOA Espinoza 6.9 (5)8.9 (11)53 (113)33 (45)44 (48)44 (48)45 (47)12/15
I-DBDP-GL Kudela 2.7 (2)1.9 (2)2.3 (1)1.1 (1)1.2 (1)1.2 (1)1.6 (0.9)15/15
WOA Espinoza 6.9 (5)29 (14)79 (197)47 (104)52 (71)52 (92)49 (83)10/15
a-CMA-ES Gissler 1.5 (2)1.4 (2)1.1 (1)0.59 (0.5)0.64 (0.5)0.64 (0.5)0.81 (0.6)15/15
ad-CMA-ES Gissler 2.7 (5)2.8 (5)2.1 (2)0.96 (0.8)0.94 (0.6)0.94 (0.6)0.92 (0.6)15/15
adm-CMA-ES Gissler 3.1 (4)1.7 (1)1.7 (2)0.67 (0.5)0.66 (0.4)0.66 (0.4)0.71 (0.5)15/15
c-CMA-ES Gissler 2.6 (4)2.3 (2)2.7 (3)0.98 (0.9)1.1 (0.7)1.1 (0.7)1.1 (0.7)15/15
cd-CMA-ES Gissler 2.0 (2)1.5 (1)2.3 (2)0.96 (0.8)0.94 (0.6)0.94 (0.6)1.0 (0.6)15/15
cdm-CMA-ES Gissler 2.0 (2)1.6 (1.0)2.1 (1)0.79 (0.5)0.82 (0.6)0.82 (0.6)0.89 (0.4)15/15
cma-bp-bbob Brockhoff 4.3 (4)2.5 (3)1.8 (1)0.77 (0.4)0.83 (0.5)0.83 (0.5)0.91 (0.8)15/15
cma-bt-bbob Brockhoff 3.0 (3)3.1 (3)2.7 (3)1.1 (1)1.1 (1)1.1 (1)1.1 (1)15/15
d-CMA-ES Gissler 2.9 (3)2.2 (2)2.0 (1)0.81 (0.3)0.81 (0.4)0.81 (0.4)0.87 (0.3)15/15
default-CMA-ES Gissler 3.1 (3)2.3 (2)2.0 (2)0.79 (0.6)0.83 (0.6)0.83 (0.6)0.89 (0.5)15/15
dm-CMA-ES Gissler 3.1 (4)2.5 (2)2.0 (2)0.84 (0.6)0.93 (0.8)0.93 (0.8)0.96 (0.8)15/15
m-SDWOA Espinoza 6.9 (5)7.1 (7)9.4 (5)5.4 (3)6.5 (2)6.5 (2)7.3 (1)15/15
s-CMA-ES Gissler 2.7 (3)1.6 (1)1.6 (2)0.72 (0.5)0.81 (0.5)0.81 (0.5)1.1 (0.9)15/15
sc-CMA-ES Gissler 3.0 (4)2.6 (3)1.7 (1)1.00 (0.6)0.98 (0.5)0.98 (0.5)1.0 (0.6)15/15
scd-CMA-ES Gissler 2.7 (3)1.7 (1)2.3 (2)1.0 (0.6)1.1 (0.8)1.1 (0.8)1.3 (0.8)15/15
scdm-CMA-ES Gissler 2.7 (3)1.2 (2)1.7 (1)0.74 (0.4)0.79 (0.3)0.79 (0.3)0.90 (0.7)15/15
sd-CMA-ES Gissler 2.4 (3)2.1 (2)1.9 (1)0.75 (0.4)0.80 (0.5)0.80 (0.5)0.89 (0.7)15/15
sdm-CMA-ES Gissler 1.8 (3)1.3 (1.0)1.5 (1)0.62 (0.4)↑10.78 (0.6)0.78 (0.6)0.85 (0.6)15/15

Δ fopt
f8, 2-D
1e1
5.0
1e0
12
1e-1
37
1e-2
46
1e-3
86
1e-5
94
1e-7
112
#succ
15/15
BIRMIN Kudela 3.9 (4)4.0 (4)2.0 (2)2.0 (1)1.1 (0.6)1.1 (0.6)0.97 (0.5)15/15
DIRECT-REV Kudela 1.4 (1)2.7 (3)1.9 (0.8)1.8 (0.7)1.0 (0.3)1.0 (0.3)0.91 (0.3)15/15
E-WOA Espinoza 7.3 (8)29 (32)26 (23)37 (26)26 (17)37 (13)43 (13)15/15
I-DBDP-GL Kudela 4.7 (5)6.6 (5)6.8 (5)10 (4)8.1 (4)13 (6)20 (4)15/15
WOA Espinoza 7.5 (8)16 (22)10 (6)18 (9)26 (9)76 (108)192 (186)5/15
a-CMA-ES Gissler 3.5 (3)4.3 (5)6.0 (5)6.9 (4)4.2 (2)4.5 (2)4.3 (2)15/15
ad-CMA-ES Gissler 2.6 (3)4.5 (3)4.7 (3)5.4 (2)3.4 (1)3.9 (1)3.9 (0.9)15/15
adm-CMA-ES Gissler 2.3 (2)6.1 (9)5.5 (4)6.8 (3)4.2 (2)4.5 (2)4.4 (1)15/15
c-CMA-ES Gissler 3.3 (3)7.2 (7)6.1 (4)7.0 (4)4.2 (2)4.5 (2)4.2 (2)15/15
cd-CMA-ES Gissler 3.4 (4)5.4 (6)5.2 (4)6.4 (5)4.0 (2)4.3 (2)4.3 (2)15/15
cdm-CMA-ES Gissler 3.7 (4)6.5 (6)5.2 (4)6.1 (4)3.7 (3)4.2 (2)4.1 (2)15/15
cma-bp-bbob Brockhoff 5.3 (10)8.2 (17)6.6 (8)6.7 (6)4.0 (3)4.4 (3)4.3 (2)15/15
cma-bt-bbob Brockhoff 3.2 (3)7.9 (12)5.9 (6)6.8 (5)4.4 (3)4.8 (2)4.6 (2)15/15
d-CMA-ES Gissler 3.3 (3)8.4 (12)6.0 (6)7.3 (4)4.4 (2)4.8 (2)4.7 (1)15/15
default-CMA-ES Gissler 3.5 (5)11 (20)7.4 (8)7.1 (7)4.3 (4)4.7 (4)4.4 (3)15/15
dm-CMA-ES Gissler 3.7 (5)9.2 (12)7.0 (6)7.8 (5)4.6 (3)4.9 (3)4.7 (2)15/15
m-SDWOA Espinoza 9.0 (8)21 (19)23 (9)34 (18)34 (10)49 (12)53 (9)15/15
s-CMA-ES Gissler 4.3 (5)9.3 (18)7.6 (8)8.1 (6)4.9 (3)5.2 (3)4.7 (3)15/15
sc-CMA-ES Gissler 3.2 (4)6.3 (8)5.7 (6)6.1 (4)4.1 (2)4.3 (2)4.2 (2)15/15
scd-CMA-ES Gissler 6.9 (11)17 (25)10 (10)11 (7)6.3 (4)6.3 (3)5.9 (3)15/15
scdm-CMA-ES Gissler 4.0 (4)9.0 (14)6.5 (6)7.1 (6)4.5 (3)4.7 (3)4.4 (2)15/15
sd-CMA-ES Gissler 3.7 (6)5.2 (3)5.9 (5)6.8 (5)4.0 (3)4.3 (2)4.2 (2)15/15
sdm-CMA-ES Gissler 3.1 (4)8.7 (13)6.6 (7)7.9 (5)4.6 (3)4.8 (2)4.6 (2)15/15

Δ fopt
f9, 2-D
1e1
1
1e0
18
1e-1
30
1e-2
44
1e-3
68
1e-5
81
1e-7
92
#succ
15/15
BIRMIN Kudela 17 (16)3.6 (2)3.4 (1)2.7 (0.9)1.9 (0.5)1.6 (0.5)1.5 (0.4)15/15
DIRECT-REV Kudela 1 (0)1.6 (1.0)1.6 (0.9)1.5 (0.5)1.1 (0.3)★21.00 (0.3)★20.91 (0.2)★215/15
E-WOA Espinoza 49 (32)14 (13)44 (65)99 (97)181 (214)359 (501)486 (333)5/15
I-DBDP-GL Kudela 22 (18)4.6 (2)7.1 (2)10 (4)10 (5)21 (9)33 (10)15/15
WOA Espinoza 49 (32)105 (345)473 (678)556 (585)617 (892)1644 (2585)3109 (4837)0/15
a-CMA-ES Gissler 1 (0)4.5 (6)7.8 (6)7.0 (5)5.1 (3)5.1 (2)5.2 (2)15/15
ad-CMA-ES Gissler 1 (0)2.1 (2)5.5 (4)5.7 (2)4.3 (1)4.4 (1)4.6 (0.9)15/15
adm-CMA-ES Gissler 1 (0)2.5 (2)5.2 (5)5.3 (3)3.9 (2)4.2 (2)4.4 (1)15/15
c-CMA-ES Gissler 1 (0)3.7 (5)6.7 (6)6.5 (5)5.1 (2)5.0 (2)5.2 (2)15/15
cd-CMA-ES Gissler 1 (0)2.4 (2)4.9 (5)6.2 (4)4.5 (2)4.5 (2)4.8 (2)15/15
cdm-CMA-ES Gissler 1 (0)3.4 (2)5.0 (4)5.5 (3)4.3 (2)4.6 (2)4.6 (1)15/15
cma-bp-bbob Brockhoff 1 (0)4.6 (7)8.1 (7)7.4 (4)5.4 (3)5.4 (3)5.6 (2)15/15
cma-bt-bbob Brockhoff 1 (0)2.5 (2)7.0 (4)6.1 (3)4.7 (2)4.7 (2)4.7 (1)15/15
d-CMA-ES Gissler 1 (0)3.8 (5)6.3 (5)6.5 (3)4.9 (2)4.8 (2)5.0 (1)15/15
default-CMA-ES Gissler 1 (0)3.5 (5)7.3 (5)6.9 (3)5.1 (2)5.2 (2)5.2 (1)15/15
dm-CMA-ES Gissler 1 (0)2.1 (2)4.7 (3)5.0 (2)3.9 (1)4.1 (0.9)4.3 (1)15/15
m-SDWOA Espinoza 43 (32)12 (11)17 (10)36 (13)38 (8)51 (12)60 (6)15/15
s-CMA-ES Gissler 1 (0)4.0 (3)5.6 (5)6.0 (4)4.6 (3)4.6 (2)4.6 (2)15/15
sc-CMA-ES Gissler 1 (0)2.4 (1)4.3 (4)5.9 (4)4.5 (3)4.5 (2)4.6 (2)15/15
scd-CMA-ES Gissler 1 (0)3.6 (3)5.4 (8)5.5 (6)4.6 (4)4.6 (3)4.7 (3)15/15
scdm-CMA-ES Gissler 1 (0)4.4 (5)6.6 (5)6.5 (3)4.9 (2)4.9 (2)4.8 (2)15/15
sd-CMA-ES Gissler 1 (0)3.2 (3)7.0 (4)6.9 (4)5.0 (3)4.9 (2)5.0 (2)15/15
sdm-CMA-ES Gissler 1 (0)2.9 (4)6.7 (6)6.3 (5)4.8 (3)4.8 (2)4.8 (2)15/15

Δ fopt
f10, 2-D
1e1
30
1e0
46
1e-1
54
1e-2
61
1e-3
68
1e-5
82
1e-7
98
#succ
15/15
BIRMIN Kudela 1.2 (0.6)1.0 (0.5)1.1 (0.5)1.1 (0.4)1.1 (0.4)267 (590)7139 (9184)1/15
DIRECT-REV Kudela 0.92 (0.3)0.97 (0.4)0.93 (0.4)0.94 (0.2)1.2 (1)65 (169)1137 (973)5/15
E-WOA Espinoza 118 (201)565 (656)598 (841)534 (747)491 (818)553 (430)483 (778)5/15
I-DBDP-GL Kudela 13 (10)24 (19)52 (36)66 (43)85 (47)115 (48)150 (50)15/15
WOA Espinoza 283 (503)730 (763)1563 (1944)2228 (3780)4295 (4485)2e40/15
a-CMA-ES Gissler 3.6 (2)4.3 (2)4.3 (1)4.3 (1)4.3 (0.9)4.3 (0.7)4.2 (0.8)15/15
ad-CMA-ES Gissler 3.6 (3)4.3 (2)4.2 (1)4.4 (0.6)4.3 (0.7)4.5 (0.8)4.4 (0.5)15/15
adm-CMA-ES Gissler 5.4 (3)5.1 (1)4.8 (0.7)4.7 (0.7)4.7 (0.6)4.7 (0.5)4.6 (0.4)15/15
c-CMA-ES Gissler 4.7 (2)4.7 (0.9)4.4 (0.7)4.5 (0.8)4.6 (0.8)4.5 (0.6)4.4 (0.6)15/15
cd-CMA-ES Gissler 5.3 (3)5.3 (1)4.9 (0.8)5.0 (1)5.0 (1.0)4.9 (0.8)4.8 (0.6)15/15
cdm-CMA-ES Gissler 3.7 (2)4.4 (2)4.8 (1.0)4.8 (0.6)4.8 (0.9)4.7 (0.5)4.6 (0.3)15/15
cma-bp-bbob Brockhoff 3.9 (3)4.1 (2)4.5 (2)4.5 (2)4.5 (1)4.4 (0.9)4.2 (0.8)15/15
cma-bt-bbob Brockhoff 6.4 (5)8.1 (15)7.9 (12)7.7 (10)7.3 (9)6.7 (8)6.2 (6)15/15
d-CMA-ES Gissler 3.8 (3)3.7 (2)4.5 (0.9)4.4 (0.9)4.5 (0.9)4.5 (0.6)4.5 (0.7)15/15
default-CMA-ES Gissler 4.9 (4)4.8 (2)4.7 (2)4.7 (1)4.7 (1)4.7 (1.0)4.5 (0.7)15/15
dm-CMA-ES Gissler 5.4 (2)5.0 (2)4.8 (1)4.9 (1)4.8 (1)4.7 (1)4.7 (0.9)15/15
m-SDWOA Espinoza 24 (11)25 (16)41 (11)47 (7)52 (6)58 (4)64 (6)15/15
s-CMA-ES Gissler 5.4 (3)5.2 (2)4.9 (1)4.8 (1)4.7 (1)4.7 (0.9)4.5 (0.5)15/15
sc-CMA-ES Gissler 4.6 (3)4.7 (3)4.8 (2)4.8 (1)5.0 (1)4.9 (1)4.5 (0.9)15/15
scd-CMA-ES Gissler 4.7 (4)4.5 (2)4.9 (1)4.8 (2)4.7 (1)4.6 (1)4.4 (1)15/15
scdm-CMA-ES Gissler 5.3 (4)5.6 (2)5.5 (2)5.5 (1)5.2 (1)5.1 (1.0)4.8 (0.9)15/15
sd-CMA-ES Gissler 3.9 (2)5.0 (1)4.8 (1.0)4.8 (1)4.8 (1)4.7 (0.6)4.5 (0.7)15/15
sdm-CMA-ES Gissler 5.6 (3)4.7 (2)4.6 (2)4.9 (1)4.7 (0.9)4.6 (0.9)4.5 (0.9)15/15

Δ fopt
f11, 2-D
1e1
35
1e0
45
1e-1
50
1e-2
62
1e-3
67
1e-5
81
1e-7
97
#succ
15/15
BIRMIN Kudela 1.0 (0.4)1.1 (0.5)1.1 (0.3)1.0 (0.2)1.0 (0.2)62 (121)2837 (3867)2/15
DIRECT-REV Kudela 0.78 (0.4)0.96 (0.5)1.1 (0.4)0.95 (0.3)0.96 (0.3)95 (261)690 (1346)3/15
E-WOA Espinoza 45 (43)158 (221)288 (357)282 (319)269 (374)236 (249)212 (214)9/15
I-DBDP-GL Kudela 11 (16)30 (28)52 (46)73 (58)94 (59)126 (76)171 (122)15/15
WOA Espinoza 109 (289)285 (403)572 (1032)976 (1058)4259 (3657)2e40/15
a-CMA-ES Gissler 3.3 (2)3.9 (2)4.8 (1)4.2 (0.6)4.4 (0.5)4.2 (0.7)4.3 (0.4)15/15
ad-CMA-ES Gissler 3.4 (2)4.3 (1)4.3 (1)4.2 (0.6)4.3 (0.7)4.3 (0.6)4.3 (0.5)15/15
adm-CMA-ES Gissler 4.0 (3)4.3 (2)4.8 (1)4.5 (0.8)4.7 (1.0)4.6 (0.6)4.6 (0.6)15/15
c-CMA-ES Gissler 4.5 (4)5.5 (2)5.4 (2)4.9 (2)4.9 (1)4.8 (1)4.7 (0.9)15/15
cd-CMA-ES Gissler 4.2 (3)4.6 (2)5.1 (2)4.7 (1)4.7 (1)4.7 (1)4.6 (0.7)15/15
cdm-CMA-ES Gissler 3.5 (2)4.9 (2)5.0 (1)4.6 (0.9)4.7 (0.9)4.6 (0.8)4.6 (0.8)15/15
cma-bp-bbob Brockhoff 5.0 (2)5.7 (2)5.7 (2)5.3 (2)5.2 (1)5.3 (1)5.0 (0.9)15/15
cma-bt-bbob Brockhoff 5.1 (3)7.0 (10)7.5 (9)6.7 (7)6.7 (6)6.4 (5)5.9 (4)15/15
d-CMA-ES Gissler 4.3 (3)5.0 (2)5.1 (2)4.5 (2)4.8 (1)4.7 (1)4.7 (0.8)15/15
default-CMA-ES Gissler 3.1 (2)3.7 (1)4.4 (2)4.5 (1)4.8 (0.8)4.6 (0.7)4.5 (0.7)15/15
dm-CMA-ES Gissler 3.0 (3)4.3 (2)5.0 (0.8)4.6 (0.9)4.7 (0.7)4.6 (0.7)4.6 (0.6)15/15
m-SDWOA Espinoza 19 (12)28 (17)41 (10)45 (9)51 (7)59 (7)64 (4)15/15
s-CMA-ES Gissler 3.8 (3)4.7 (2)5.1 (1)4.6 (1)4.7 (1)4.6 (1)4.4 (0.9)15/15
sc-CMA-ES Gissler 5.5 (3)5.9 (2)5.8 (2)5.1 (1)5.3 (0.8)5.0 (0.9)4.8 (0.8)15/15
scd-CMA-ES Gissler 3.1 (2)4.7 (2)5.3 (2)4.9 (2)4.9 (1)4.9 (1)4.7 (0.8)15/15
scdm-CMA-ES Gissler 3.6 (2)4.5 (2)5.1 (2)4.6 (1)5.1 (0.8)4.7 (0.7)4.7 (0.6)15/15
sd-CMA-ES Gissler 3.2 (3)4.2 (2)4.9 (2)4.6 (1)4.6 (1)4.4 (0.6)4.4 (0.5)15/15
sdm-CMA-ES Gissler 3.3 (2)4.4 (2)5.0 (1)4.5 (0.9)4.4 (1)4.3 (1)4.4 (0.6)15/15

Δ fopt
f12, 2-D
1e1
35
1e0
46
1e-1
75
1e-2
94
1e-3
105
1e-5
153
1e-7
195
#succ
15/15
BIRMIN Kudela 2.1 (1)2.9 (4)2.5 (4)2.4 (4)2.3 (3)223 (446)771 (769)5/15
DIRECT-REV Kudela 1.3 (0.7)1.6 (1)1.5 (1)1.4 (2)1.4 (2)66 (108)294 (431)6/15
E-WOA Espinoza 137 (287)281 (306)355 (348)485 (584)449 (443)323 (262)331 (494)4/15
I-DBDP-GL Kudela 14 (8)36 (12)30 (12)37 (27)57 (25)67 (28)103 (51)15/15
WOA Espinoza 221 (574)438 (654)3788 (3933)3032 (3351)2714 (1905)1869 (1601)2e40/15
a-CMA-ES Gissler 6.1 (3)7.2 (2)7.8 (6)8.2 (8)8.2 (8)7.2 (8)6.7 (7)15/15
ad-CMA-ES Gissler 3.7 (2)7.7 (11)8.7 (12)9.1 (12)8.9 (12)7.7 (10)7.2 (9)15/15
adm-CMA-ES Gissler 4.5 (3)7.2 (6)5.8 (4)5.4 (4)5.7 (4)4.9 (3)4.6 (3)15/15
c-CMA-ES Gissler 5.8 (3)8.1 (2)8.1 (8)8.3 (10)8.2 (10)7.4 (9)6.9 (9)15/15
cd-CMA-ES Gissler 6.0 (4)7.5 (5)5.7 (3)5.2 (3)5.1 (3)4.2 (3)3.8 (2)15/15
cdm-CMA-ES Gissler 3.6 (3)6.9 (7)8.7 (11)8.8 (13)8.7 (12)8.8 (10)13 (18)15/15
cma-bp-bbob Brockhoff 5.3 (3)10 (20)12 (18)14 (16)14 (15)12 (12)12 (11)15/15
cma-bt-bbob Brockhoff 4.1 (2)6.8 (9)7.7 (9)8.9 (8)9.0 (8)8.4 (7)8.0 (7)15/15
d-CMA-ES Gissler 3.9 (3)4.1 (3)4.8 (4)5.6 (5)6.0 (5)5.9 (6)5.8 (6)15/15
default-CMA-ES Gissler 4.5 (3)6.5 (2)6.1 (4)6.6 (4)6.9 (4)6.7 (4)6.1 (4)15/15
dm-CMA-ES Gissler 4.6 (3)6.8 (3)6.9 (5)7.0 (6)7.2 (5)6.5 (6)7.5 (5)15/15
m-SDWOA Espinoza 19 (10)32 (10)35 (19)46 (16)48 (12)46 (13)44 (9)15/15
s-CMA-ES Gissler 4.4 (3)6.6 (3)6.5 (3)6.7 (6)6.9 (6)6.3 (6)6.0 (6)15/15
sc-CMA-ES Gissler 5.9 (6)10 (15)10 (13)10 (12)10 (12)8.2 (11)7.4 (10)15/15
scd-CMA-ES Gissler 6.8 (3)12 (17)12 (19)13 (19)12 (18)11 (15)10 (12)15/15
scdm-CMA-ES Gissler 8.0 (7)12 (11)12 (12)14 (13)13 (12)14 (11)13 (10)15/15
sd-CMA-ES Gissler 10 (20)16 (29)15 (25)15 (23)14 (21)12 (17)11 (14)15/15
sdm-CMA-ES Gissler 3.4 (3)6.9 (5)6.3 (4)6.5 (6)6.7 (5)6.2 (6)5.8 (6)15/15

Δ fopt
f13, 2-D
1e1
23
1e0
35
1e-1
46
1e-2
60
1e-3
71
1e-5
95
1e-7
122
#succ
15/15
BIRMIN Kudela 1.7 (0.8)1.7 (0.7)1.5 (0.5)1.3 (0.4)1.2 (0.4)2266 (3621)1e50/15
DIRECT-REV Kudela 1.2 (0.7)1.3 (0.3)1.2 (0.3)1.7 (0.2)1.6 (0.3)794 (1053)1e50/15
E-WOA Espinoza 8.8 (4)60 (52)314 (652)342 (419)647 (670)670 (541)741 (659)3/15
I-DBDP-GL Kudela 3.3 (2)11 (10)21 (9)39 (17)58 (35)157 (62)282 (182)15/15
WOA Espinoza 7.8 (3)396 (293)525 (653)1030 (863)1973 (1408)2e40/15
a-CMA-ES Gissler 2.4 (2)3.4 (2)3.5 (1)4.0 (0.8)4.3 (0.8)4.3 (0.6)4.2 (0.6)15/15
ad-CMA-ES Gissler 2.4 (2)3.7 (2)3.9 (0.8)4.0 (0.7)4.2 (0.8)4.3 (0.6)4.4 (0.4)15/15
adm-CMA-ES Gissler 2.7 (2)3.6 (1)3.8 (0.9)3.8 (0.7)4.1 (0.5)4.3 (0.4)4.3 (0.5)15/15
c-CMA-ES Gissler 2.7 (3)3.5 (1)3.8 (0.7)3.9 (0.9)4.0 (0.6)4.4 (0.6)4.3 (0.5)15/15
cd-CMA-ES Gissler 2.3 (1)3.6 (1)4.4 (0.9)4.4 (0.9)4.6 (1)4.6 (0.9)4.6 (0.7)15/15
cdm-CMA-ES Gissler 2.7 (2)3.7 (1)4.3 (2)4.2 (1)4.7 (0.7)4.7 (0.8)4.5 (0.6)15/15
cma-bp-bbob Brockhoff 2.7 (1)3.3 (0.7)3.6 (1)4.0 (0.7)4.0 (0.8)4.2 (0.5)4.4 (0.4)15/15
cma-bt-bbob Brockhoff 3.2 (2)4.6 (1)4.8 (0.7)4.7 (1.0)4.5 (0.6)4.5 (0.9)4.6 (0.6)15/15
d-CMA-ES Gissler 2.6 (1)3.7 (2)4.0 (1)4.0 (0.8)4.3 (0.9)4.3 (0.6)4.4 (0.4)15/15
default-CMA-ES Gissler 2.8 (1)4.3 (2)4.3 (2)4.5 (1)4.6 (1)4.4 (0.7)4.4 (0.9)15/15
dm-CMA-ES Gissler 2.8 (2)3.7 (1)4.0 (1)4.2 (0.8)4.3 (0.5)4.4 (0.6)4.4 (0.3)15/15
m-SDWOA Espinoza 11 (7)24 (11)40 (10)47 (11)56 (7)64 (6)67 (6)15/15
s-CMA-ES Gissler 2.7 (2)3.8 (2)3.8 (2)3.5 (1)3.9 (1)4.2 (0.7)4.0 (0.6)15/15
sc-CMA-ES Gissler 2.4 (2)3.8 (2)4.3 (0.9)4.4 (0.7)4.4 (1.0)4.3 (0.6)4.5 (0.7)15/15
scd-CMA-ES Gissler 2.0 (2)3.9 (2)4.3 (1)4.1 (1)4.3 (1)4.4 (0.7)4.3 (0.7)15/15
scdm-CMA-ES Gissler 2.2 (2)4.2 (2)4.4 (2)4.3 (1)4.7 (0.8)4.6 (0.8)4.6 (0.7)15/15
sd-CMA-ES Gissler 3.5 (3)4.2 (2)4.4 (1)4.3 (1)4.5 (0.8)4.5 (0.5)4.3 (0.6)15/15
sdm-CMA-ES Gissler 1.7 (2)3.4 (1)4.0 (2)3.9 (1)4.1 (1)4.3 (0.8)4.2 (0.8)15/15

Δ fopt
f14, 2-D
1e1
1
1e0
7.0
1e-1
16
1e-2
24
1e-3
38
1e-5
67
1e-7
90
#succ
15/15
BIRMIN Kudela 1.6 (0.5)1.9 (1)1.9 (0.8)7.2 (8)9.0 (9)420 (746)7224 (1e4)1/15
DIRECT-REV Kudela 2.2 (1)2.1 (2)2.0 (1)2.0 (0.9)1.6 (0.6)1.2 (0.2)3156 (3334)2/15
E-WOA Espinoza 1.9 (1)3.1 (2)11 (8)65 (93)336 (277)314 (304)262 (292)8/15
I-DBDP-GL Kudela 1.6 (0.5)1.6 (1)2.5 (2)6.6 (3)11 (5)31 (11)85 (54)15/15
WOA Espinoza 1.9 (1)3.1 (2)12 (10)45 (13)378 (528)939 (1224)3230 (2778)0/15
a-CMA-ES Gissler 1.9 (2)2.1 (2)3.4 (2)3.8 (1)4.2 (1)4.0 (2)4.2 (0.8)15/15
ad-CMA-ES Gissler 1.9 (2)1.9 (1)2.9 (2)4.2 (2)3.7 (1)3.9 (0.9)4.7 (1)15/15
adm-CMA-ES Gissler 2.0 (2)1.9 (3)3.5 (2)4.0 (1)4.4 (2)4.4 (0.7)4.7 (0.9)15/15
c-CMA-ES Gissler 1.6 (1)1.5 (2)2.3 (2)3.9 (2)4.1 (1)4.4 (2)5.0 (0.9)15/15
cd-CMA-ES Gissler 1.9 (2)2.2 (3)3.5 (2)4.7 (2)4.2 (1)4.7 (1)5.1 (1.0)15/15
cdm-CMA-ES Gissler 1.9 (2)1.5 (1)3.3 (2)4.3 (2)4.5 (2)4.4 (1)4.8 (0.9)15/15
cma-bp-bbob Brockhoff 2.4 (3)1.9 (2)2.7 (2)3.7 (2)4.0 (1)4.1 (0.9)4.5 (0.6)15/15
cma-bt-bbob Brockhoff 3.2 (3)2.2 (2)3.6 (2)4.0 (3)4.3 (2)4.6 (0.9)4.6 (0.7)15/15
d-CMA-ES Gissler 1.9 (2)2.0 (2)3.6 (2)4.2 (2)3.8 (1)4.4 (0.9)4.5 (0.6)15/15
default-CMA-ES Gissler 1.7 (2)1.5 (2)2.8 (2)3.8 (2)4.4 (2)4.4 (1)4.7 (0.8)15/15
dm-CMA-ES Gissler 1.8 (2)2.2 (2)3.4 (1)4.6 (1)4.4 (1)4.7 (0.8)4.7 (0.6)15/15
m-SDWOA Espinoza 1.9 (1)3.1 (2)21 (17)37 (12)43 (11)55 (7)62 (5)15/15
s-CMA-ES Gissler 2.2 (2)1.9 (2)2.9 (2)3.7 (2)4.0 (1)4.3 (1)4.5 (1)15/15
sc-CMA-ES Gissler 1.9 (2)1.6 (1)2.3 (2)3.9 (2)4.2 (1)4.5 (1)5.1 (1)15/15
scd-CMA-ES Gissler 2.4 (3)2.5 (3)3.2 (2)4.4 (2)4.1 (1)4.4 (1.0)4.9 (0.8)15/15
scdm-CMA-ES Gissler 1.7 (1)1.8 (3)3.5 (1)4.1 (1)4.2 (1)4.5 (1)4.8 (1)15/15
sd-CMA-ES Gissler 2.1 (2)2.1 (2)2.5 (1)4.1 (0.9)3.8 (0.9)3.8 (1)4.7 (1.0)15/15
sdm-CMA-ES Gissler 2.7 (3)1.9 (2)3.4 (1)4.2 (1)4.0 (1)4.2 (0.8)4.5 (0.6)15/15

Δ fopt
f15, 2-D
1e1
37
1e0
291
1e-1
1033
1e-2
1066
1e-3
1113
1e-5
1231
1e-7
1412
#succ
15/15
BIRMIN Kudela 0.76 (0.7)1.3 (1)0.75 (0.6)0.76 (0.6)0.81 (0.7)7.9 (15)18 (36)12/15
DIRECT-REV Kudela 1.1 (0.9)0.67 (0.4)0.47 (0.3)↑10.46 (0.3)↑10.44 (0.3)↑10.41 (0.3)↑10.36 (0.2)↑015/15
E-WOA Espinoza 3.5 (6)14 (13)33 (33)33 (55)33 (48)33 (26)46 (50)4/15
I-DBDP-GL Kudela 1.2 (1)1.8 (1)0.76 (0.4)0.91 (0.4)1.1 (0.4)1.5 (0.5)1.7 (0.5)15/15
WOA Espinoza 3.0 (2)30 (38)25 (35)25 (45)26 (23)36 (53)63 (79)2/15
a-CMA-ES Gissler 3.1 (8)3.7 (3)2.0 (1)2.0 (1)2.0 (1)1.9 (1)1.8 (1)15/15
ad-CMA-ES Gissler 1.2 (0.9)1.7 (2)1.9 (2)1.9 (2)1.9 (2)1.9 (2)1.7 (1)15/15
adm-CMA-ES Gissler 0.87 (0.9)1.9 (2)1.3 (1.0)1.6 (2)1.6 (2)1.5 (2)1.4 (1)15/15
c-CMA-ES Gissler 0.84 (0.6)4.0 (3)1.8 (1)2.0 (2)2.0 (2)1.9 (1)1.7 (1)15/15
cd-CMA-ES Gissler 1.0 (0.8)2.9 (3)1.8 (2)1.9 (2)1.9 (2)1.8 (2)1.7 (1)15/15
cdm-CMA-ES Gissler 1.1 (1)2.2 (2)1.9 (2)1.9 (2)1.9 (2)1.8 (2)1.7 (2)15/15
cma-bp-bbob Brockhoff 0.85 (0.7)2.4 (3)3.5 (6)3.7 (6)3.7 (6)4.5 (7)4.0 (7)14/15
cma-bt-bbob Brockhoff 1.0 (0.7)3.1 (3)2.7 (2)2.9 (2)2.9 (2)2.7 (2)2.5 (2)15/15
d-CMA-ES Gissler 1.0 (0.9)1.8 (3)2.1 (2)2.1 (2)2.1 (2)2.0 (2)1.9 (2)15/15
default-CMA-ES Gissler 0.99 (0.7)2.4 (3)2.4 (3)2.7 (3)2.7 (3)2.6 (3)2.4 (3)15/15
dm-CMA-ES Gissler 1.1 (0.8)2.3 (2)1.9 (2)2.2 (1)2.2 (1)2.1 (2)2.0 (1)15/15
m-SDWOA Espinoza 3.4 (4)5.0 (3)3.6 (3)6.0 (2)7.2 (1)7.9 (1)7.8 (0.8)15/15
s-CMA-ES Gissler 0.95 (0.8)2.0 (1)2.2 (2)2.3 (2)2.3 (2)2.1 (1)2.0 (1)15/15
sc-CMA-ES Gissler 2.0 (0.6)2.1 (2)2.1 (1)2.9 (3)2.9 (3)2.7 (2)2.5 (2)15/15
scd-CMA-ES Gissler 0.74 (0.6)3.7 (4)3.7 (3)3.8 (3)3.8 (3)3.5 (3)3.2 (2)15/15
scdm-CMA-ES Gissler 1.0 (1)3.4 (3)3.1 (3)3.5 (3)3.4 (3)3.2 (3)2.9 (2)15/15
sd-CMA-ES Gissler 0.99 (0.9)1.6 (2)2.0 (2)1.9 (2)2.0 (2)1.9 (2)1.7 (2)15/15
sdm-CMA-ES Gissler 1.3 (1.0)3.5 (3)1.6 (0.6)1.7 (0.8)1.7 (0.7)1.6 (0.7)1.5 (0.6)15/15

Δ fopt
f16, 2-D
1e1
9.0
1e0
50
1e-1
174
1e-2
326
1e-3
358
1e-5
409
1e-7
538
#succ
15/15
BIRMIN Kudela 7.4 (10)3.3 (2)2.2 (2)2.2 (2)6.0 (5)76 (92)884 (965)1/15
DIRECT-REV Kudela 6.6 (6)3.6 (3)2.1 (1)1.4 (0.8)2.0 (1)40 (70)437 (567)1/15
E-WOA Espinoza 2.2 (2)5.3 (8)26 (45)37 (67)48 (45)46 (52)39 (50)9/15
I-DBDP-GL Kudela 2.3 (2)1.7 (1)1.5 (0.6)1.3 (0.4)1.8 (0.5)2.7 (0.7)3.6 (0.7)15/15
WOA Espinoza 2.2 (2)5.5 (2)14 (12)35 (62)44 (31)58 (59)120 (114)3/15
a-CMA-ES Gissler 3.5 (3)7.6 (10)3.8 (7)2.3 (4)2.4 (3)2.3 (3)1.9 (2)15/15
ad-CMA-ES Gissler 3.1 (2)6.0 (8)2.5 (3)1.8 (2)1.9 (1)1.9 (1)1.6 (1)15/15
adm-CMA-ES Gissler 2.9 (3)2.3 (2)3.2 (4)2.1 (3)2.6 (4)2.5 (3)2.0 (3)15/15
c-CMA-ES Gissler 3.3 (3)5.1 (11)1.9 (3)1.7 (3)1.7 (2)1.7 (2)1.4 (2)15/15
cd-CMA-ES Gissler 2.2 (2)2.8 (2)1.5 (3)1.3 (2)1.4 (1)1.4 (1)1.2 (1.0)15/15
cdm-CMA-ES Gissler 3.1 (3)8.0 (10)3.0 (3)1.8 (2)2.4 (4)2.3 (3)1.9 (3)15/15
cma-bp-bbob Brockhoff 2.7 (3)8.9 (9)3.3 (2)2.1 (2)2.1 (1)2.0 (1)1.8 (1)15/15
cma-bt-bbob Brockhoff 3.1 (2)3.3 (3)1.7 (2)1.5 (2)1.5 (1)1.4 (1)1.2 (1)15/15
d-CMA-ES Gissler 2.6 (2)2.9 (2)1.2 (0.4)1.3 (0.2)1.7 (1)1.7 (1)1.4 (1.0)15/15
default-CMA-ES Gissler 2.8 (2)11 (26)4.4 (7)2.6 (4)2.4 (4)2.4 (3)1.9 (3)15/15
dm-CMA-ES Gissler 3.0 (3)7.7 (13)3.4 (4)2.1 (2)2.0 (2)2.5 (4)2.1 (3)15/15
m-SDWOA Espinoza 2.2 (2)3.5 (4)10 (12)15 (10)26 (15)57 (27)88 (75)6/15
s-CMA-ES Gissler 4.3 (5)6.2 (10)4.8 (4)2.7 (2)2.6 (2)2.5 (2)2.1 (1)15/15
sc-CMA-ES Gissler 4.7 (8)5.7 (9)5.2 (7)3.0 (4)3.2 (4)3.0 (3)2.4 (3)15/15
scd-CMA-ES Gissler 3.2 (3)4.2 (3)2.8 (3)2.3 (2)2.3 (2)2.2 (2)1.8 (1)15/15
scdm-CMA-ES Gissler 2.4 (2)7.0 (10)5.3 (7)3.8 (5)3.6 (4)3.4 (4)2.8 (3)15/15
sd-CMA-ES Gissler 4.4 (7)6.2 (11)2.8 (4)2.1 (2)2.3 (3)2.2 (3)1.8 (2)15/15
sdm-CMA-ES Gissler 7.8 (3)3.9 (7)1.8 (2)1.8 (2)2.0 (2)1.9 (2)1.6 (1)15/15

Δ fopt
f17, 2-D
1e1
3.0
1e0
61
1e-1
133
1e-2
275
1e-3
396
1e-5
1086
1e-7
1657
#succ
15/15
BIRMIN Kudela 1.3 (0.8)0.73 (0.4)1.6 (1.0)3.1 (4)72 (126)1e50/15
DIRECT-REV Kudela 1.2 (1)1.1 (0.8)1.9 (0.9)3.7 (3)7.2 (7)624 (729)409 (417)0/15
E-WOA Espinoza 2.2 (1)5.0 (8)16 (16)42 (55)72 (126)59 (60)41 (51)4/15
I-DBDP-GL Kudela 1.1 (0.8)0.72 (0.4)1.3 (0.6)1.9 (0.8)3.0 (0.9)2.9 (0.5)3.5 (0.6)15/15
WOA Espinoza 2.2 (1)2.9 (3)46 (75)48 (80)119 (138)2e40/15
a-CMA-ES Gissler 0.93 (0.8)1.4 (0.9)1.3 (0.8)1.1 (1)1.3 (1)1.4 (1)1.2 (0.8)15/15
ad-CMA-ES Gissler 1.0 (0.7)1.1 (1)1.8 (3)1.1 (1)1.3 (1.0)1.5 (1)1.2 (0.8)15/15
adm-CMA-ES Gissler 1.2 (1)1.5 (0.7)1.7 (3)1.2 (1)1.6 (1)1.4 (0.6)1.2 (0.5)15/15
c-CMA-ES Gissler 1.2 (1)0.84 (0.7)1.3 (0.6)1.3 (1)1.8 (1)1.6 (1)1.3 (0.6)15/15
cd-CMA-ES Gissler 1.3 (2)3.5 (5)2.3 (3)1.4 (1)1.5 (1)1.5 (1)1.2 (0.8)15/15
cdm-CMA-ES Gissler 1.0 (1)1.5 (0.9)1.4 (0.3)1.1 (1)1.0 (1.0)1.0 (0.5)1.1 (0.8)15/15
cma-bp-bbob Brockhoff 1.4 (2)0.84 (0.8)1.5 (2)1.0 (1.0)1.4 (1)1.1 (1.0)1.1 (0.5)15/15
cma-bt-bbob Brockhoff 1.7 (2)0.66 (0.5)0.98 (0.4)1.3 (1)1.4 (1)1.2 (0.2)1.0 (0.1)15/15
d-CMA-ES Gissler 0.98 (1)2.0 (5)1.6 (2)1.3 (1)1.2 (0.9)1.2 (1.0)1.1 (0.7)15/15
default-CMA-ES Gissler 1.3 (1)1.2 (0.7)1.1 (0.4)0.82 (0.2)↑10.88 (0.9)1.5 (1)1.2 (0.5)15/15
dm-CMA-ES Gissler 0.71 (0.5)1.6 (2)1.3 (0.6)1.3 (1)1.7 (1)1.4 (1.0)1.2 (0.5)15/15
m-SDWOA Espinoza 2.2 (1)2.9 (3)10 (4)12 (2)14 (2)10 (0.7)9.2 (0.4)15/15
s-CMA-ES Gissler 1.4 (2)3.1 (4)2.5 (2)1.8 (1)1.6 (1)1.5 (1)1.2 (0.5)15/15
sc-CMA-ES Gissler 1.4 (2)2.4 (4)1.9 (2)1.8 (2)1.8 (1)1.5 (1)1.1 (0.8)15/15
scd-CMA-ES Gissler 0.93 (1)0.56 (0.5)0.90 (0.6)1.1 (1)1.4 (1)1.6 (1)1.5 (0.9)15/15
scdm-CMA-ES Gissler 1.6 (0.8)1.4 (0.8)1.5 (2)1.1 (1)1.5 (1)1.5 (1)1.4 (0.5)15/15
sd-CMA-ES Gissler 1.1 (2)0.69 (0.5)0.90 (0.3)0.90 (0.2)↑11.0 (0.9)1.4 (1)1.2 (0.8)15/15
sdm-CMA-ES Gissler 1.9 (2)1.8 (0.8)1.8 (2)1.3 (1)1.3 (0.9)1.4 (1.0)1.2 (0.5)15/15

Δ fopt
f18, 2-D
1e1
19
1e0
134
1e-1
666
1e-2
1249
1e-3
1708
1e-5
2438
1e-7
2858
#succ
15/15
BIRMIN Kudela 20 (55)8.0 (13)3.0 (3)5.0 (4)34 (59)1e50/15
DIRECT-REV Kudela 2.8 (4)8.9 (11)3.9 (5)3.9 (4)4.6 (4)1e50/15
E-WOA Espinoza 2.3 (3)19 (41)28 (30)21 (28)21 (33)18 (15)16 (10)5/15
I-DBDP-GL Kudela 0.94 (0.8)1.1 (0.8)0.86 (0.5)1.1 (0.4)1.4 (0.5)2.8 (0.7)4.0 (0.9)15/15
WOA Espinoza 2.4 (3)61 (83)36 (38)35 (65)54 (57)2e40/15
a-CMA-ES Gissler 1.2 (1)2.6 (3)0.96 (0.7)0.65 (0.7)0.67 (0.6)0.83 (0.4)0.80 (0.3)15/15
ad-CMA-ES Gissler 1.4 (1)2.7 (3)1.2 (1)0.80 (0.8)0.76 (0.6)1.1 (0.4)1.2 (0.7)15/15
adm-CMA-ES Gissler 1.5 (2)4.3 (6)1.1 (1)0.76 (0.7)0.75 (0.6)0.87 (0.5)0.88 (0.5)15/15
c-CMA-ES Gissler 1.5 (1)3.6 (6)1.1 (1)0.90 (0.8)0.94 (0.5)0.95 (0.4)1.1 (0.4)15/15
cd-CMA-ES Gissler 1.2 (1)2.3 (4)0.89 (0.8)0.62 (0.4)0.52 (0.3)↑00.78 (0.3)1.0 (0.4)15/15
cdm-CMA-ES Gissler 1.6 (1)2.7 (3)1.1 (0.7)0.88 (0.5)0.72 (0.3)↑10.82 (0.4)0.80 (0.3)15/15
cma-bp-bbob Brockhoff 1.2 (1)3.7 (7)0.98 (1)0.65 (0.8)0.77 (0.6)1.0 (0.4)1.1 (0.7)15/15
cma-bt-bbob Brockhoff 1.0 (0.8)3.2 (6)1.2 (1)0.87 (0.7)0.83 (0.8)0.87 (0.5)0.89 (0.4)15/15
d-CMA-ES Gissler 1.7 (2)3.6 (3)1.5 (1)1.0 (0.8)0.95 (0.7)0.97 (0.6)1.1 (0.8)15/15
default-CMA-ES Gissler 1.6 (1)1.9 (2)0.86 (0.6)0.68 (0.4)↑10.68 (0.6)0.87 (0.6)1.0 (0.4)15/15
dm-CMA-ES Gissler 1.2 (1)2.8 (3)1.1 (1)0.83 (0.8)0.85 (0.7)0.95 (0.4)0.93 (0.3)15/15
m-SDWOA Espinoza 2.2 (3)5.1 (3)3.4 (1)3.8 (0.8)4.2 (0.7)5.1 (0.4)6.2 (0.5)13/15
s-CMA-ES Gissler 0.89 (0.6)3.7 (3)1.1 (1)0.79 (0.7)0.74 (0.6)0.88 (0.5)0.85 (0.5)15/15
sc-CMA-ES Gissler 1.3 (1)3.3 (2)1.1 (1)0.76 (0.7)0.74 (0.6)0.98 (0.4)0.98 (0.4)15/15
scd-CMA-ES Gissler 1.1 (1)2.3 (3)0.79 (0.6)0.60 (0.4)↑10.68 (0.6)0.99 (0.4)0.97 (0.4)15/15
scdm-CMA-ES Gissler 1.6 (1)4.0 (3)1.2 (1)0.85 (0.7)0.71 (0.5)0.88 (0.4)0.85 (0.3)15/15
sd-CMA-ES Gissler 0.97 (0.8)2.9 (3)0.99 (0.6)0.71 (0.6)0.86 (0.6)0.89 (0.3)1.1 (0.4)15/15
sdm-CMA-ES Gissler 1.5 (1)3.1 (4)1.4 (1)0.83 (0.7)0.76 (0.5)1.2 (0.5)1.2 (0.5)15/15

Δ fopt
f19, 2-D
1e1
1
1e0
1
1e-1
26
1e-2
216
1e-3
227
1e-5
252
1e-7
276
#succ
15/15
BIRMIN Kudela 3.9 (2)868 (1514)58 (59)15 (14)17 (13)26 (16)146 (173)8/15
DIRECT-REV Kudela 1 (0)1 (0)12 (9)7.0 (8)6.7 (8)6.1 (7)5.7 (7)15/15
E-WOA Espinoza 4.9 (4)71 (75)22 (15)49 (50)69 (45)84 (82)172 (241)5/15
I-DBDP-GL Kudela 3.9 (2)21 (22)6.0 (6)6.1 (7)6.4 (7)7.0 (6)8.4 (6)15/15
WOA Espinoza 4.9 (4)60 (52)10 (7)60 (105)88 (96)137 (146)220 (272)2/15
a-CMA-ES Gissler 1 (0)1 (0)13 (19)8.7 (11)8.8 (11)12 (17)11 (16)15/15
ad-CMA-ES Gissler 1 (0)1 (0)8.1 (19)12 (13)11 (13)15 (21)14 (19)15/15
adm-CMA-ES Gissler 1 (0)1 (0)8.2 (19)15 (18)15 (18)19 (25)18 (24)15/15
c-CMA-ES Gissler 1 (0)1 (0)6.6 (7)14 (21)14 (21)14 (20)13 (19)15/15
cd-CMA-ES Gissler 1 (0)1 (0)12 (21)9.0 (10)12 (15)12 (14)11 (13)15/15
cdm-CMA-ES Gissler 1 (0)1 (0)4.8 (4)10 (13)10 (13)10 (12)12 (12)15/15
cma-bp-bbob Brockhoff 1 (0)1 (0)10 (22)12 (13)13 (12)15 (19)14 (17)15/15
cma-bt-bbob Brockhoff 1 (0)1 (0)10 (23)11 (13)16 (14)15 (14)15 (13)15/15
d-CMA-ES Gissler 1 (0)1 (0)14 (22)11 (18)11 (17)11 (15)11 (14)15/15
default-CMA-ES Gissler 1 (0)1 (0)16 (20)9.1 (8)10 (8)10 (8)10 (7)15/15
dm-CMA-ES Gissler 1 (0)1 (0)6.7 (9)4.7 (6)5.1 (6)5.3 (5)5.1 (5)15/15
m-SDWOA Espinoza 4.9 (4)66 (62)13 (12)7.5 (6)13 (9)23 (17)34 (9)15/15
s-CMA-ES Gissler 1 (0)1 (0)13 (21)8.7 (8)21 (19)20 (20)19 (19)15/15
sc-CMA-ES Gissler 1 (0)1 (0)10 (19)11 (11)10 (11)11 (10)11 (9)15/15
scd-CMA-ES Gissler 1 (0)1 (0)9.4 (13)16 (20)22 (40)21 (37)20 (37)15/15
scdm-CMA-ES Gissler 1 (0)1 (0)13 (22)14 (19)17 (22)20 (24)19 (23)15/15
sd-CMA-ES Gissler 1 (0)1 (0)9.4 (21)15 (27)16 (29)17 (26)16 (24)15/15
sdm-CMA-ES Gissler 1 (0)1 (0)7.2 (8)6.7 (7)8.0 (7)8.4 (8)8.1 (8)15/15

Δ fopt
f20, 2-D
1e1
4.0
1e0
61
1e-1
365
1e-2
366
1e-3
366
1e-5
370
1e-7
375
#succ
15/15
BIRMIN Kudela 0.40 (0.1)↑00.97 (0.3)0.27 (0.1)↑00.44 (0.5)0.84 (1)36 (72)97 (133)11/15
DIRECT-REV Kudela 3.0 (0)3.2 (0.1)0.57 (0.0)↑00.58 (0.0)↑00.59 (0.0)↑00.59 (0.0)↑00.58 (0.0)↑015/15
E-WOA Espinoza 1.9 (0.6)26 (42)10 (22)13 (26)16 (26)22 (27)26 (37)12/15
I-DBDP-GL Kudela 0.40 (0.1)↑00.66 (0.1)↑00.38 (0.0)↑00.93 (0.0)↑01.3 (0.1)2.7 (0.2)4.3 (0.2)15/15
WOA Espinoza 1.9 (0.6)176 (249)30 (55)40 (55)41 (41)50 (59)56 (71)9/15
a-CMA-ES Gissler 1.6 (1)12 (14)11 (17)13 (17)14 (22)14 (22)15 (22)15/15
ad-CMA-ES Gissler 1.7 (2)13 (15)12 (14)13 (16)14 (17)14 (18)15 (19)15/15
adm-CMA-ES Gissler 1.7 (1)13 (16)7.9 (5)10 (6)11 (6)12 (6)12 (6)15/15
c-CMA-ES Gissler 1.8 (0.9)8.1 (14)8.8 (10)10 (10)10 (10)10 (10)11 (10)15/15
cd-CMA-ES Gissler 1.7 (1)8.9 (8)11 (8)12 (9)12 (9)13 (9)13 (10)15/15
cdm-CMA-ES Gissler 2.4 (2)17 (13)7.7 (9)8.2 (9)8.5 (10)8.8 (10)9.1 (10)15/15
cma-bp-bbob Brockhoff 1.7 (2)14 (13)9.1 (8)12 (10)13 (10)13 (11)14 (11)15/15
cma-bt-bbob Brockhoff 2.3 (2)10 (12)8.4 (8)11 (19)12 (19)13 (20)13 (21)15/15
d-CMA-ES Gissler 1.5 (1)10 (12)9.0 (8)10 (9)11 (9)11 (9)12 (9)15/15
default-CMA-ES Gissler 2.3 (2)12 (14)8.4 (13)10 (13)11 (17)11 (18)11 (18)15/15
dm-CMA-ES Gissler 1.7 (1)8.8 (12)9.4 (9)12 (10)12 (11)13 (11)13 (11)15/15
m-SDWOA Espinoza 1.9 (0.6)6.6 (3)7.2 (2)16 (3)20 (1)24 (2)27 (3)15/15
s-CMA-ES Gissler 0.98 (0.5)11 (11)7.6 (8)11 (10)11 (10)12 (11)12 (11)15/15
sc-CMA-ES Gissler 1.2 (0.8)10 (13)8.4 (9)9.3 (10)10 (10)10 (11)11 (11)15/15
scd-CMA-ES Gissler 1.5 (1)6.5 (6)14 (16)15 (17)16 (18)17 (18)17 (19)15/15
scdm-CMA-ES Gissler 1.9 (1)7.4 (12)7.9 (9)10 (9)11 (9)11 (10)11 (9)15/15
sd-CMA-ES Gissler 1.4 (1)12 (14)9.1 (8)11 (8)11 (8)12 (9)12 (9)15/15
sdm-CMA-ES Gissler 1.7 (1)14 (16)13 (15)15 (17)16 (19)17 (20)17 (20)15/15

Δ fopt
f21, 2-D
1e1
2.0
1e0
51
1e-1
174
1e-2
276
1e-3
290
1e-5
324
1e-7
330
#succ
15/15
BIRMIN Kudela 1.4 (1)1.1 (1)0.64 (0.6)0.48 (0.6)0.53 (0.7)1.1 (1)6.5 (11)15/15
DIRECT-REV Kudela 2.4 (2)1.9 (2)0.92 (0.8)0.61 (0.5)0.63 (0.5)0.61 (0.4)0.75 (0.4)15/15
E-WOA Espinoza 1.3 (2)2.0 (2)1.6 (2)1.4 (2)2.5 (2)6.5 (12)12 (26)13/15
I-DBDP-GL Kudela 1.4 (1)0.75 (0.7)0.45 (0.5)0.36 (0.2)↑10.50 (0.4)↑10.75 (0.3)↑11.2 (0.4)15/15
WOA Espinoza 1.3 (2)1.4 (1)0.86 (0.6)0.83 (0.9)1.4 (2)5.0 (9)12 (31)13/15
a-CMA-ES Gissler 0.87 (0.2)3.6 (7)5.0 (7)4.6 (9)4.6 (8)4.5 (8)4.6 (8)15/15
ad-CMA-ES Gissler 1.0 (0.5)2.5 (5)1.9 (2)1.5 (1)1.5 (1)1.5 (1)1.6 (1)15/15
adm-CMA-ES Gissler 0.87 (0.8)8.9 (14)8.3 (13)5.6 (8)5.6 (8)15 (8)51 (7)14/15
c-CMA-ES Gissler 0.87 (0.5)3.8 (6)3.4 (4)14 (9)17 (24)16 (28)89 (29)14/15
cd-CMA-ES Gissler 0.80 (0.5)6.6 (7)6.8 (14)6.8 (10)6.9 (10)6.9 (10)7.1 (10)15/15
cdm-CMA-ES Gissler 0.73 (0.5)5.0 (7)8.5 (13)6.9 (11)6.9 (10)6.7 (10)6.9 (11)15/15
cma-bp-bbob Brockhoff 1.2 (1)11 (6)12 (13)10 (8)10 (7)9.5 (8)10 (8)14/15
cma-bt-bbob Brockhoff 1.1 (0.8)6.1 (11)11 (15)12 (18)11 (17)15 (31)17 (32)13/15
d-CMA-ES Gissler 0.93 (0.8)8.8 (16)8.9 (8)11 (5)15 (29)15 (29)16 (29)15/15
default-CMA-ES Gissler 0.90 (0.8)6.2 (12)4.2 (6)11 (5)11 (5)20 (33)20 (32)15/15
dm-CMA-ES Gissler 0.73 (0.5)6.8 (14)6.5 (7)5.0 (6)5.3 (6)12 (6)17 (6)14/15
m-SDWOA Espinoza 1.3 (2)1.2 (1)1.5 (2)1.9 (1)3.0 (2)6.4 (4)10 (2)15/15
s-CMA-ES Gissler 0.77 (0.5)5.1 (11)5.1 (7)3.4 (5)3.4 (5)3.5 (4)3.6 (4)15/15
sc-CMA-ES Gissler 0.83 (0.5)5.2 (7)5.5 (13)3.8 (8)4.1 (8)4.0 (8)4.2 (8)15/15
scd-CMA-ES Gissler 0.90 (1)5.1 (6)7.7 (8)5.7 (6)5.8 (5)7.0 (11)7.1 (12)15/15
scdm-CMA-ES Gissler 1.1 (2)6.1 (14)4.3 (4)3.1 (3)4.6 (5)4.5 (5)4.6 (5)15/15
sd-CMA-ES Gissler 0.87 (0.8)4.0 (6)6.5 (13)4.2 (8)5.1 (9)6.5 (10)6.6 (10)15/15
sdm-CMA-ES Gissler 0.77 (0.5)7.6 (15)5.3 (7)4.5 (7)4.5 (7)4.3 (6)4.5 (7)15/15

Δ fopt
f22, 2-D
1e1
5.0
1e0
27
1e-1
168
1e-2
218
1e-3
249
1e-5
289
1e-7
306
#succ
15/15
BIRMIN Kudela 1.9 (2)1.9 (2)0.92 (0.7)0.88 (0.6)1.3 (2)5.1 (7)35 (22)13/15
DIRECT-REV Kudela 1.9 (3)2.2 (2)1.2 (2)0.99 (2)0.90 (1)0.82 (1)2.8 (2)15/15
E-WOA Espinoza 0.95 (0.8)3.4 (3)2.4 (3)4.3 (7)11 (18)24 (27)40 (46)10/15
I-DBDP-GL Kudela 1.5 (1)1.7 (0.9)0.69 (0.5)0.75 (0.4)0.93 (0.5)1.6 (0.5)2.4 (0.9)15/15
WOA Espinoza 0.95 (0.8)3.2 (4)3.2 (4)11 (10)19 (41)42 (73)67 (82)7/15
a-CMA-ES Gissler 1.0 (1)1.3 (2)3.4 (7)2.7 (5)2.7 (5)2.7 (5)2.9 (5)15/15
ad-CMA-ES Gissler 1.7 (0.9)5.6 (12)11 (24)11 (20)13 (17)21 (32)54 (34)14/15
adm-CMA-ES Gissler 1 (0.9)4.2 (11)7.1 (13)13 (10)20 (59)89 (108)90 (140)14/15
c-CMA-ES Gissler 1.4 (2)3.5 (2)1.7 (4)2.7 (3)2.6 (3)2.5 (3)2.6 (3)15/15
cd-CMA-ES Gissler 9.4 (2)16 (14)6.1 (8)6.4 (9)6.3 (8)7.3 (9)7.1 (9)15/15
cdm-CMA-ES Gissler 0.85 (0.6)13 (13)7.9 (13)6.7 (10)6.0 (9)36 (24)34 (24)15/15
cma-bp-bbob Brockhoff 0.93 (0.8)2.3 (3)3.3 (4)3.2 (3)2.8 (3)2.6 (3)2.6 (2)15/15
cma-bt-bbob Brockhoff 1.2 (1)4.8 (10)4.3 (8)4.6 (7)4.2 (6)10 (10)10 (10)14/15
d-CMA-ES Gissler 2.6 (4)8.8 (12)25 (18)22 (17)20 (15)41 (101)78 (113)14/15
default-CMA-ES Gissler 1.2 (2)7.3 (2)14 (12)14 (10)24 (36)39 (33)47 (57)15/15
dm-CMA-ES Gissler 1.5 (2)3.5 (9)7.0 (13)7.2 (10)8.0 (11)29 (10)53 (9)14/15
m-SDWOA Espinoza 0.95 (0.8)2.9 (3)0.97 (1)2.9 (3)3.4 (3)9.0 (3)11 (2)15/15
s-CMA-ES Gissler 0.95 (0.7)7.2 (11)3.6 (7)7.7 (8)18 (9)28 (8)43 (9)15/15
sc-CMA-ES Gissler 0.91 (0.7)13 (24)6.5 (11)6.1 (9)5.4 (7)7.1 (12)7.1 (11)15/15
scd-CMA-ES Gissler 1.1 (1)1.2 (0.9)3.7 (5)4.0 (4)13 (27)12 (27)20 (27)15/15
scdm-CMA-ES Gissler 1.1 (1)10 (14)3.3 (7)8.9 (6)17 (15)60 (98)102 (295)13/15
sd-CMA-ES Gissler 0.68 (0.7)5.4 (11)5.0 (8)12 (29)11 (28)10 (25)10 (26)15/15
sdm-CMA-ES Gissler 0.88 (1)6.9 (11)3.8 (5)3.2 (4)32 (19)51 (17)115 (308)13/15

Δ fopt
f23, 2-D
1e1
8.0
1e0
193
1e-1
234
1e-2
263
1e-3
299
1e-5
348
1e-7
379
#succ
15/15
BIRMIN Kudela 2.7 (4)4.1 (9)48 (61)427 (396)922 (1421)1e50/15
DIRECT-REV Kudela 4.0 (4)2.3 (3)26 (33)86 (193)253 (427)1e50/15
E-WOA Espinoza 1.9 (2)21 (11)159 (236)200 (288)187 (154)426 (372)2e40/15
I-DBDP-GL Kudela 1.6 (2)3.3 (2)6.2 (2)9.2 (2)12 (5)20 (7)30 (8)15/15
WOA Espinoza 1.9 (2)4.2 (5)114 (106)354 (404)2e40/15
a-CMA-ES Gissler 2.9 (3)4.3 (4)5.4 (4)8.2 (10)7.5 (9)6.9 (8)6.7 (8)15/15
ad-CMA-ES Gissler 2.0 (2)8.6 (11)12 (11)12 (10)11 (9)10 (8)10 (7)15/15
adm-CMA-ES Gissler 1.9 (1)7.5 (7)8.0 (5)7.5 (5)6.9 (4)6.4 (4)6.4 (3)15/15
c-CMA-ES Gissler 1.8 (2)9.5 (10)12 (12)11 (11)10 (10)9.2 (8)9.0 (8)15/15
cd-CMA-ES Gissler 1.7 (2)3.9 (3)9.2 (14)12 (20)11 (18)10 (16)10 (15)15/15
cdm-CMA-ES Gissler 2.9 (3)8.5 (11)14 (18)13 (16)13 (24)12 (21)11 (19)15/15
cma-bp-bbob Brockhoff 1.2 (2)6.4 (8)13 (14)12 (13)11 (12)10 (10)10 (9)15/15
cma-bt-bbob Brockhoff 2.2 (3)6.3 (8)12 (15)11 (13)10 (12)9.2 (10)8.9 (10)15/15
d-CMA-ES Gissler 2.5 (3)5.4 (6)7.8 (7)10 (11)8.9 (10)8.1 (8)7.9 (8)15/15
default-CMA-ES Gissler 1.7 (1)4.4 (5)6.8 (6)6.4 (5)7.7 (6)7.0 (6)6.9 (5)15/15
dm-CMA-ES Gissler 2.6 (3)4.5 (4)12 (12)11 (11)10 (9)9.3 (8)9.0 (8)15/15
m-SDWOA Espinoza 1.9 (2)6.3 (7)58 (24)560 (667)2e40/15
s-CMA-ES Gissler 2.4 (2)7.2 (12)10 (10)12 (11)11 (10)10 (9)9.3 (8)15/15
sc-CMA-ES Gissler 2.4 (5)6.9 (7)14 (15)14 (14)19 (14)17 (12)16 (11)15/15
scd-CMA-ES Gissler 1.6 (2)5.1 (5)8.0 (11)7.4 (10)6.9 (9)6.4 (8)6.3 (8)15/15
scdm-CMA-ES Gissler 2.0 (2)5.3 (5)8.3 (6)7.8 (5)7.1 (5)6.6 (4)6.5 (4)15/15
sd-CMA-ES Gissler 1.7 (1)5.1 (6)7.7 (9)7.2 (9)6.6 (8)6.2 (7)6.2 (7)15/15
sdm-CMA-ES Gissler 2.3 (2)10 (10)14 (15)14 (13)12 (11)11 (10)11 (9)15/15

Δ fopt
f24, 2-D
1e1
18
1e0
857
1e-1
8515
1e-2
23399
1e-3
24113
1e-5
24721
1e-7
24721
#succ
5/15
BIRMIN Kudela 1.6 (2)3.8 (4)3.7 (4)1.5 (2)1.5 (1)3.2 (5)12 (16)3/15
DIRECT-REV Kudela 1.6 (2)1.8 (1)1.9 (1)2.0 (2)2.0 (2)1.9 (3)1.9 (2)13/15
E-WOA Espinoza 2.3 (2)22 (50)5.9 (8)12 (13)12 (21)12 (15)12 (13)1/15
I-DBDP-GL Kudela 1.3 (1)6.9 (6)1.4 (2)0.58 (0.6)0.57 (0.6)0.58 (0.6)0.62 (0.6)15/15
WOA Espinoza 2.3 (2)11 (13)16 (16)2e40/15
a-CMA-ES Gissler 1.7 (2)42 (25)130 (177)111 (154)108 (108)105 (146)105 (154)2/15
ad-CMA-ES Gissler 0.98 (1)16 (22)42 (59)21 (26)48 (47)47 (45)47 (50)4/15
adm-CMA-ES Gissler 1.1 (1)42 (40)73 (74)70 (87)68 (79)66 (65)66 (72)3/15
c-CMA-ES Gissler 1.1 (1)38 (97)72 (94)49 (53)47 (51)46 (57)46 (49)4/15
cd-CMA-ES Gissler 1.3 (1)80 (201)62 (56)51 (79)71 (67)70 (106)70 (88)3/15
cdm-CMA-ES Gissler 5.5 (2)59 (182)139 (174)112 (137)108 (116)106 (158)106 (126)2/15
cma-bp-bbob Brockhoff 0.98 (0.8)21 (25)10 (12)5.9 (7)5.8 (7)5.7 (6)5.7 (4)2/15
cma-bt-bbob Brockhoff 1.0 (0.9)16 (27)34 (75)12 (11)12 (15)2e40/15
d-CMA-ES Gissler 1.1 (1)56 (165)37 (49)30 (34)30 (44)36 (32)36 (57)5/15
default-CMA-ES Gissler 1.8 (2)78 (182)307 (341)113 (150)109 (141)107 (158)107 (182)2/15
dm-CMA-ES Gissler 1.8 (2)70 (177)71 (94)112 (154)233 (274)227 (336)227 (211)1/15
m-SDWOA Espinoza 2.6 (2)5.4 (6)2.1 (1)3.1 (4)2e40/15
s-CMA-ES Gissler 1.4 (1)118 (235)95 (165)47 (73)46 (87)65 (69)65 (69)3/15
sc-CMA-ES Gissler 1.6 (2)76 (165)73 (70)35 (56)34 (50)34 (37)34 (29)5/15
scd-CMA-ES Gissler 1.1 (0.9)19 (43)24 (36)24 (38)28 (34)27 (34)27 (26)6/15
scdm-CMA-ES Gissler 1.8 (2)31 (21)95 (224)112 (111)109 (121)106 (109)106 (114)2/15
sd-CMA-ES Gissler 0.99 (0.6)43 (20)11 (24)29 (52)28 (43)27 (35)27 (49)6/15
sdm-CMA-ES Gissler 1.6 (2)118 (236)95 (142)241 (326)234 (349)228 (325)228 (260)1/15

Previous dimension | Dimension = 3 | Next dimension

Δ fopt
f1, 3-D
1e1
4.0
1e0
8.0
1e-1
8.0
1e-2
8.0
1e-3
8.0
1e-5
8.0
1e-7
8.0
#succ
15/15
BIRMIN Kudela 1 (0.9)3.6 (2)4.6 (2)12 (20)24 (47)2892 (9377)2893 (9376)13/15
DIRECT-REV Kudela 1.7 (2)2.7 (0.4)3.3 (0.8)3.4 (0.8)★23.4 (0.8)★26.0 (1)6.5 (1)★215/15
E-WOA Espinoza 2.7 (3)32 (40)161 (135)339 (201)579 (243)1005 (277)1509 (300)15/15
I-DBDP-GL Kudela 0.93 (0.6)3.8 (3)13 (7)32 (10)59 (18)154 (38)301 (56)15/15
WOA Espinoza 2.7 (3)15 (13)51 (43)106 (65)473 (198)3497 (4047)1.6e4 (2e4)1/15
a-CMA-ES Gissler 2.0 (2)4.1 (3)10 (4)16 (4)21 (6)32 (7)44 (7)15/15
ad-CMA-ES Gissler 1.5 (1)4.9 (2)10 (5)17 (4)22 (4)35 (4)48 (4)15/15
adm-CMA-ES Gissler 1.6 (2)4.6 (3)11 (5)16 (5)23 (4)36 (3)48 (3)15/15
c-CMA-ES Gissler 1.6 (1)4.4 (2)11 (3)16 (5)23 (6)34 (8)46 (8)15/15
cd-CMA-ES Gissler 1.1 (1)3.4 (3)10 (4)17 (7)24 (6)36 (4)49 (5)15/15
cdm-CMA-ES Gissler 2.0 (2)5.2 (2)10 (5)17 (4)23 (3)36 (5)49 (6)15/15
cma-bp-bbob Brockhoff 1.7 (2)3.3 (2)8.4 (4)15 (5)20 (6)30 (4)42 (7)15/15
cma-bt-bbob Brockhoff 1.5 (1)4.8 (5)10 (6)16 (5)22 (8)33 (8)45 (9)15/15
d-CMA-ES Gissler 1.7 (1)4.5 (2)10 (3)15 (3)22 (4)34 (4)47 (5)15/15
default-CMA-ES Gissler 1.7 (3)4.0 (3)8.3 (3)15 (5)20 (3)32 (7)44 (7)15/15
dm-CMA-ES Gissler 1.7 (1)4.2 (2)10 (4)17 (3)23 (5)35 (5)47 (5)15/15
m-SDWOA Espinoza 2.7 (3)23 (23)90 (45)184 (52)286 (53)502 (50)718 (45)15/15
s-CMA-ES Gissler 2.1 (2)3.9 (4)8.8 (4)15 (4)19 (6)31 (6)42 (7)15/15
sc-CMA-ES Gissler 1.6 (2)4.4 (2)9.4 (5)15 (6)21 (6)33 (6)44 (8)15/15
scd-CMA-ES Gissler 1.8 (2)4.1 (3)10 (5)16 (6)20 (7)34 (6)47 (7)15/15
scdm-CMA-ES Gissler 2.1 (3)5.4 (3)11 (6)18 (6)25 (6)36 (8)48 (7)15/15
sd-CMA-ES Gissler 1.8 (2)4.6 (2)9.1 (5)15 (5)19 (4)31 (7)44 (5)15/15
sdm-CMA-ES Gissler 1.5 (2)3.7 (2)10 (3)16 (4)22 (6)33 (4)45 (6)15/15

Δ fopt
f2, 3-D
1e1
38
1e0
42
1e-1
43
1e-2
44
1e-3
45
1e-5
47
1e-7
48
#succ
15/15
BIRMIN Kudela 1.7 (0.5)1.8 (0.4)2.2 (0.5)2.4 (0.5)2.7 (0.9)3.1 (0.9)3.4 (0.8)14/15
DIRECT-REV Kudela 1.0 (0.5)1.3 (0.5)1.7 (0.7)2.1 (0.6)2.3 (0.6)2.6 (0.8)2.9 (0.8)15/15
E-WOA Espinoza 195 (122)357 (177)405 (140)446 (150)499 (121)598 (319)858 (649)8/15
I-DBDP-GL Kudela 27 (7)39 (15)52 (15)64 (14)73 (20)114 (30)163 (19)15/15
WOA Espinoza 961 (1586)2113 (2878)3e40/15
a-CMA-ES Gissler 7.6 (4)9.3 (2)10 (1)11 (2)12 (1)13 (1)15 (1)15/15
ad-CMA-ES Gissler 7.0 (2)7.8 (2)8.9 (2)10 (1)11 (1)12 (2)15 (1)15/15
adm-CMA-ES Gissler 6.6 (3)8.2 (3)10 (2)11 (2)12 (2)13 (2)15 (2)15/15
c-CMA-ES Gissler 6.7 (3)8.8 (4)10 (2)11 (2)12 (2)14 (2)15 (2)15/15
cd-CMA-ES Gissler 6.9 (4)7.9 (3)10 (2)11 (3)12 (3)13 (3)15 (3)15/15
cdm-CMA-ES Gissler 6.7 (3)8.9 (3)10 (2)11 (2)12 (2)14 (2)16 (2)15/15
cma-bp-bbob Brockhoff 7.2 (3)8.7 (2)10 (2)11 (2)12 (2)13 (2)15 (2)15/15
cma-bt-bbob Brockhoff 5.3 (2)8.3 (2)10 (2)11 (2)11 (2)13 (2)15 (2)15/15
d-CMA-ES Gissler 7.0 (3)8.5 (2)10 (2)11 (3)11 (3)13 (2)15 (2)15/15
default-CMA-ES Gissler 6.6 (3)8.0 (2)10 (2)11 (1)12 (1)13 (1)15 (1)15/15
dm-CMA-ES Gissler 7.4 (3)8.4 (3)9.3 (3)10 (3)11 (3)13 (3)15 (3)15/15
m-SDWOA Espinoza 46 (13)67 (11)83 (10)97 (10)117 (11)147 (11)180 (7)15/15
s-CMA-ES Gissler 7.1 (4)8.1 (4)10 (4)11 (3)12 (3)13 (2)15 (3)15/15
sc-CMA-ES Gissler 7.4 (3)9.0 (4)11 (2)11 (2)12 (2)14 (3)16 (3)15/15
scd-CMA-ES Gissler 7.4 (5)10 (4)11 (3)12 (3)12 (3)14 (3)16 (3)15/15
scdm-CMA-ES Gissler 6.7 (4)8.8 (4)10 (4)11 (3)12 (3)14 (3)15 (3)15/15
sd-CMA-ES Gissler 6.4 (3)8.0 (2)9.2 (2)10 (2)11 (2)12 (1)14 (2)15/15
sdm-CMA-ES Gissler 6.7 (3)9.3 (3)11 (3)11 (3)12 (2)14 (3)16 (3)15/15

Δ fopt
f3, 3-D
1e1
38
1e0
822
1e-1
830
1e-2
835
1e-3
842
1e-5
847
1e-7
853
#succ
15/15
BIRMIN Kudela 1.4 (1)1.9 (2)4.4 (4)4.5 (4)4.8 (4)31 (89)31 (88)13/15
DIRECT-REV Kudela 5.1 (5)2.2 (3)8.8 (7)8.8 (7)8.7 (7)8.7 (7)8.6 (7)15/15
E-WOA Espinoza 44 (68)55 (57)515 (434)516 (485)516 (632)519 (629)521 (580)1/15
I-DBDP-GL Kudela 5.0 (4)1.9 (1.0)2.6 (2)3.2 (2)3.9 (2)5.4 (2)7.3 (1)15/15
WOA Espinoza 16 (14)251 (309)3e40/15
a-CMA-ES Gissler 4.9 (3)3.4 (5)15 (11)27 (11)28 (11)29 (11)30 (12)15/15
ad-CMA-ES Gissler 2.4 (2)2.6 (2)27 (45)78 (192)83 (191)94 (258)95 (260)15/15
adm-CMA-ES Gissler 3.5 (3)2.8 (2)21 (20)78 (65)78 (66)79 (69)79 (70)14/15
c-CMA-ES Gissler 5.4 (3)2.5 (2)27 (46)29 (53)51 (59)52 (60)53 (61)15/15
cd-CMA-ES Gissler 3.0 (2)2.3 (2)20 (24)21 (24)22 (25)22 (25)23 (26)15/15
cdm-CMA-ES Gissler 2.7 (2)3.8 (4)22 (21)23 (23)24 (24)25 (24)26 (25)15/15
cma-bp-bbob Brockhoff 4.3 (2)2.3 (3)10 (11)14 (20)14 (19)14 (20)15 (19)13/15
cma-bt-bbob Brockhoff 3.1 (2)6.2 (6)21 (36)21 (22)21 (29)22 (27)24 (27)11/15
d-CMA-ES Gissler 4.6 (2)3.3 (4)10 (15)11 (15)11 (15)11 (15)12 (16)15/15
default-CMA-ES Gissler 5.3 (3)4.3 (4)14 (11)15 (12)15 (12)16 (13)16 (13)15/15
dm-CMA-ES Gissler 2.8 (2)3.3 (3)17 (23)20 (33)20 (33)21 (34)22 (35)15/15
m-SDWOA Espinoza 18 (11)7.8 (3)15 (3)18 (3)19 (2)21 (2)23 (2)15/15
s-CMA-ES Gissler 2.8 (2)3.6 (3)22 (23)49 (130)51 (137)53 (141)54 (143)15/15
sc-CMA-ES Gissler 2.7 (2)3.2 (3)10 (10)11 (10)11 (10)11 (10)11 (11)15/15
scd-CMA-ES Gissler 4.7 (2)3.5 (3)23 (19)27 (21)34 (54)34 (55)35 (57)15/15
scdm-CMA-ES Gissler 3.6 (4)4.1 (3)19 (24)20 (28)21 (28)22 (29)22 (29)15/15
sd-CMA-ES Gissler 2.6 (1)4.6 (6)12 (11)19 (12)20 (13)20 (13)21 (13)15/15
sdm-CMA-ES Gissler 3.5 (2)3.4 (3)24 (22)35 (23)36 (24)37 (25)38 (25)15/15

Δ fopt
f4, 3-D
1e1
40
1e0
808
1e-1
866
1e-2
921
1e-3
952
1e-5
1015
1e-7
1044
#succ
15/15
BIRMIN Kudela 4.2 (3)3.3 (4)24 (20)34 (63)34 (64)64 (85)62 (76)11/15
DIRECT-REV Kudela 6.7 (9)2.9 (3)19 (32)18 (30)17 (29)16 (27)16 (26)15/15
E-WOA Espinoza 146 (161)74 (93)504 (771)478 (594)471 (473)3e40/15
I-DBDP-GL Kudela 10 (9)2.7 (2)4.3 (3)4.7 (3)5.2 (3)6.8 (2)9.0 (2)15/15
WOA Espinoza 141 (378)109 (123)235 (201)223 (320)3e40/15
a-CMA-ES Gissler 10 (12)520 (857)6e50/15
ad-CMA-ES Gissler 7.1 (12)475 (624)2359 (2434)7366 (6794)7126 (7355)6684 (9151)6499 (7302)1/15
adm-CMA-ES Gissler 4.7 (2)188 (381)9699 (1e4)9120 (7157)8823 (1e4)8275 (1e4)8046 (1e4)1/15
c-CMA-ES Gissler 8.2 (13)441 (676)5e50/15
cd-CMA-ES Gissler 5.0 (3)482 (615)5e50/15
cdm-CMA-ES Gissler 3.8 (3)368 (453)6e50/15
cma-bp-bbob Brockhoff 6.6 (12)162 (156)3e40/15
cma-bt-bbob Brockhoff 5.9 (3)166 (187)3e40/15
d-CMA-ES Gissler 9.3 (16)395 (452)5e50/15
default-CMA-ES Gissler 4.2 (2)491 (843)6e50/15
dm-CMA-ES Gissler 3.8 (3)788 (1162)6e50/15
m-SDWOA Espinoza 23 (20)14 (4)20 (3)21 (2)22 (2)23 (3)24 (2)15/15
s-CMA-ES Gissler 7.4 (12)285 (368)4206 (3584)3955 (6711)3827 (3967)3590 (3992)3490 (3260)2/15
sc-CMA-ES Gissler 13 (15)1206 (1323)6e50/15
scd-CMA-ES Gissler 3.6 (2)264 (335)7595 (1e4)7142 (8440)6909 (1e4)6480 (5300)6301 (4650)1/15
scdm-CMA-ES Gissler 8.8 (14)713 (590)6e50/15
sd-CMA-ES Gissler 5.6 (2)1233 (1771)7873 (1e4)7403 (1e4)7162 (5099)6718 (7835)6531 (1e4)1/15
sdm-CMA-ES Gissler 5.5 (3)494 (748)6e50/15

Δ fopt
f5, 3-D
1e1
7.0
1e0
7.0
1e-1
7.0
1e-2
7.0
1e-3
7.0
1e-5
7.0
1e-7
7.0
#succ
15/15
BIRMIN Kudela 5.1 (2)10 (2)13 (0.9)15 (2)15 (2)15 (2)3.0e5 (3e5)0/15
DIRECT-REV Kudela 6.7 (0)7.3 (0)11 (0)12 (0)12 (0)13 (0)2e50/15
E-WOA Espinoza 13 (10)33 (22)41 (31)41 (31)41 (31)41 (31)41 (31)15/15
I-DBDP-GL Kudela 8.4 (0.4)47 (0.4)136 (13)298 (10)480 (5)1063 (14)1817 (55)15/15
WOA Espinoza 12 (10)29 (14)30 (14)30 (14)30 (14)30 (14)30 (14)15/15
a-CMA-ES Gissler 3.7 (2)6.2 (3)6.4 (3)6.4 (3)6.5 (3)6.5 (3)6.5 (3)15/15
ad-CMA-ES Gissler 3.4 (1)5.6 (2)5.9 (2)5.9 (2)5.9 (2)5.9 (2)5.9 (2)15/15
adm-CMA-ES Gissler 3.3 (1)5.3 (2)5.6 (2)5.6 (2)5.7 (2)5.7 (2)5.7 (2)15/15
c-CMA-ES Gissler 3.4 (2)5.6 (1)5.9 (2)6.0 (2)6.0 (2)6.0 (2)6.0 (2)15/15
cd-CMA-ES Gissler 3.0 (1)4.5 (2)4.7 (2)4.7 (2)4.7 (2)4.7 (2)4.7 (2)15/15
cdm-CMA-ES Gissler 4.2 (2)5.7 (2)6.1 (2)6.2 (2)6.2 (2)6.2 (2)6.2 (2)15/15
cma-bp-bbob Brockhoff 5.2 (3)11 (8)12 (8)12 (8)12 (8)12 (8)12 (8)15/15
cma-bt-bbob Brockhoff 4.9 (3)15 (5)21 (5)29 (5)35 (7)48 (6)61 (8)15/15
d-CMA-ES Gissler 3.2 (1)4.6 (2)4.7 (2)4.8 (2)4.8 (2)4.8 (2)4.8 (2)15/15
default-CMA-ES Gissler 3.9 (3)5.6 (4)6.1 (3)6.1 (3)6.1 (3)6.1 (3)6.1 (3)15/15
dm-CMA-ES Gissler 3.2 (2)5.0 (2)5.1 (2)5.1 (2)5.1 (2)5.1 (2)5.1 (2)15/15
m-SDWOA Espinoza 15 (12)86 (50)104 (61)107 (64)107 (64)107 (64)107 (64)15/15
s-CMA-ES Gissler 2.8 (1)5.0 (4)5.3 (4)5.4 (4)5.4 (4)5.4 (4)5.4 (4)15/15
sc-CMA-ES Gissler 3.7 (3)5.9 (3)6.3 (3)6.4 (3)6.4 (3)6.4 (3)6.4 (3)15/15
scd-CMA-ES Gissler 3.2 (2)5.9 (4)6.1 (5)6.1 (5)6.1 (5)6.1 (5)6.1 (5)15/15
scdm-CMA-ES Gissler 3.1 (2)5.2 (3)5.6 (3)5.6 (3)5.6 (3)5.6 (3)5.6 (3)15/15
sd-CMA-ES Gissler 3.7 (2)5.2 (2)5.3 (2)5.3 (2)5.3 (2)5.3 (2)5.3 (2)15/15
sdm-CMA-ES Gissler 4.0 (2)6.5 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)15/15

Δ fopt
f6, 3-D
1e1
34
1e0
56
1e-1
90
1e-2
117
1e-3
149
1e-5
215
1e-7
265
#succ
15/15
BIRMIN Kudela 1.8 (1)1.9 (0.9)1.6 (0.4)1.5 (0.4)1.4 (0.5)1.2 (0.4)1.2 (0.4)13/15
DIRECT-REV Kudela 2.2 (2)2.1 (0.9)1.5 (0.7)1.4 (0.6)1.3 (0.4)1.1 (0.4)1.1 (0.5)14/15
E-WOA Espinoza 8.7 (8)75 (66)211 (199)352 (418)515 (604)1007 (931)3e40/15
I-DBDP-GL Kudela 1.1 (0.9)3.4 (2)5.9 (3)9.1 (2)12 (3)17 (3)24 (5)15/15
WOA Espinoza 3.4 (2)60 (30)115 (185)327 (735)878 (1023)3e40/15
a-CMA-ES Gissler 1.8 (1)3.1 (1)3.0 (0.9)3.0 (0.8)3.0 (0.6)2.8 (0.3)3.0 (0.3)15/15
ad-CMA-ES Gissler 1.5 (0.8)2.9 (0.9)2.7 (0.7)2.8 (0.4)2.8 (0.5)2.7 (0.2)2.9 (0.4)15/15
adm-CMA-ES Gissler 1.8 (2)2.6 (0.9)2.8 (0.5)2.9 (0.5)3.0 (0.4)2.8 (0.3)3.0 (0.3)15/15
c-CMA-ES Gissler 1.7 (1)2.7 (1)2.8 (1)2.8 (0.9)2.8 (0.7)2.7 (0.6)2.9 (0.5)15/15
cd-CMA-ES Gissler 1.8 (1.0)2.8 (0.9)2.7 (0.7)2.8 (0.6)2.9 (0.9)2.9 (0.7)3.1 (0.6)15/15
cdm-CMA-ES Gissler 2.1 (2)2.8 (1)2.9 (0.5)3.0 (0.6)3.1 (0.7)2.9 (0.4)3.1 (0.5)15/15
cma-bp-bbob Brockhoff 2.4 (2)3.5 (1)3.5 (1)3.7 (1)3.5 (2)3.4 (1)3.4 (0.9)15/15
cma-bt-bbob Brockhoff 1.3 (1.0)2.8 (1)3.0 (0.8)3.0 (1)3.1 (0.7)2.9 (0.4)3.1 (0.5)15/15
d-CMA-ES Gissler 2.4 (1)3.1 (1)3.1 (0.8)3.2 (0.7)3.0 (0.7)3.0 (0.6)3.1 (0.4)15/15
default-CMA-ES Gissler 1.7 (1)2.8 (1)2.7 (0.7)2.9 (0.7)2.9 (0.5)2.8 (0.5)3.0 (0.4)15/15
dm-CMA-ES Gissler 2.0 (0.8)2.9 (1)2.8 (0.8)2.9 (0.5)2.9 (0.3)2.9 (0.4)3.0 (0.3)15/15
m-SDWOA Espinoza 5.4 (6)23 (15)32 (10)38 (6)41 (5)41 (4)46 (4)15/15
s-CMA-ES Gissler 1.7 (1.0)3.0 (0.8)2.7 (0.9)2.9 (0.6)2.7 (0.4)2.7 (0.4)3.0 (0.4)15/15
sc-CMA-ES Gissler 2.3 (1)2.7 (0.8)2.8 (0.9)2.9 (0.7)2.9 (0.6)2.7 (0.4)2.9 (0.6)15/15
scd-CMA-ES Gissler 1.9 (2)2.5 (1)2.6 (0.6)2.6 (0.9)2.9 (0.7)2.7 (0.5)2.9 (0.5)15/15
scdm-CMA-ES Gissler 1.4 (1)2.5 (1)2.9 (0.6)3.0 (0.6)3.1 (0.8)3.0 (0.6)3.0 (0.6)15/15
sd-CMA-ES Gissler 2.0 (1)2.6 (1)2.6 (1.0)2.6 (0.5)2.6 (0.4)2.6 (0.5)2.9 (0.4)15/15
sdm-CMA-ES Gissler 1.6 (2)2.8 (0.8)2.9 (0.8)3.0 (0.9)2.9 (0.7)2.8 (0.4)3.1 (0.3)15/15

Δ fopt
f7, 3-D
1e1
11
1e0
65
1e-1
342
1e-2
464
1e-3
482
1e-5
482
1e-7
535
#succ
15/15
BIRMIN Kudela 1.9 (2)1.5 (0.9)1.1 (1)2.9 (2)5.0 (5)5.0 (5)5.6 (6)15/15
DIRECT-REV Kudela 2.3 (2)1.9 (1)1.5 (1)2.0 (2)2.8 (3)2.8 (3)3.2 (3)15/15
E-WOA Espinoza 6.9 (6)43 (42)80 (90)121 (163)148 (169)148 (130)136 (212)4/15
I-DBDP-GL Kudela 1.7 (1)1.7 (0.8)1.1 (0.5)1.7 (1)2.5 (2)2.5 (2)2.6 (1)15/15
WOA Espinoza 5.5 (4)92 (231)106 (88)135 (194)175 (218)175 (142)158 (170)3/15
a-CMA-ES Gissler 1.8 (2)1.7 (0.9)0.64 (0.8)0.63 (0.6)0.66 (0.5)0.66 (0.5)0.66 (0.5)15/15
ad-CMA-ES Gissler 2.1 (2)1.3 (0.8)0.47 (0.3)↑10.51 (0.2)↑00.53 (0.2)↑00.53 (0.2)↑00.53 (0.2)↑015/15
adm-CMA-ES Gissler 1.9 (2)1.1 (0.6)0.70 (0.5)0.68 (0.4)0.72 (0.4)0.72 (0.4)0.78 (0.5)15/15
c-CMA-ES Gissler 2.1 (2)1.1 (0.7)0.63 (0.5)0.64 (0.4)0.65 (0.4)0.65 (0.4)0.62 (0.4)15/15
cd-CMA-ES Gissler 2.1 (2)1.8 (0.8)0.63 (0.6)0.72 (0.6)0.80 (0.6)0.80 (0.6)0.85 (0.6)15/15
cdm-CMA-ES Gissler 2.4 (2)2.6 (3)0.90 (0.8)0.86 (0.5)0.86 (0.5)0.86 (0.5)0.89 (0.5)15/15
cma-bp-bbob Brockhoff 3.1 (4)2.5 (2)0.88 (0.5)0.82 (0.5)0.88 (0.5)0.88 (0.5)0.87 (0.5)15/15
cma-bt-bbob Brockhoff 2.2 (1)1.8 (1)0.95 (0.9)0.84 (0.6)0.85 (0.6)0.85 (0.6)0.84 (0.6)15/15
d-CMA-ES Gissler 1.8 (2)1.4 (0.9)0.74 (0.6)0.77 (0.5)0.78 (0.5)0.78 (0.5)0.75 (0.5)15/15
default-CMA-ES Gissler 1.8 (2)2.2 (2)0.88 (0.6)0.80 (0.5)0.81 (0.5)0.81 (0.5)0.87 (0.5)15/15
dm-CMA-ES Gissler 2.3 (2)1.7 (1)0.60 (0.5)0.57 (0.4)0.66 (0.4)0.66 (0.4)0.72 (0.5)15/15
m-SDWOA Espinoza 5.4 (6)7.8 (4)3.4 (1)5.0 (2)5.8 (2)5.8 (2)6.7 (1)15/15
s-CMA-ES Gissler 2.2 (3)1.5 (0.9)0.70 (0.6)0.80 (0.5)0.81 (0.5)0.81 (0.5)0.80 (0.4)15/15
sc-CMA-ES Gissler 1.2 (0.9)0.88 (0.7)0.68 (0.5)0.67 (0.4)0.74 (0.5)0.74 (0.5)0.74 (0.4)15/15
scd-CMA-ES Gissler 1.9 (2)1.6 (1)0.56 (0.3)↑10.51 (0.4)0.58 (0.6)0.58 (0.6)0.59 (0.5)15/15
scdm-CMA-ES Gissler 2.7 (3)1.7 (1)0.71 (0.7)0.67 (0.5)0.68 (0.5)0.68 (0.5)0.74 (0.4)15/15
sd-CMA-ES Gissler 2.7 (2)1.6 (2)0.69 (0.7)0.65 (0.5)0.69 (0.5)0.69 (0.5)0.77 (0.4)15/15
sdm-CMA-ES Gissler 2.3 (3)1.6 (0.9)0.55 (0.5)0.58 (0.3)0.60 (0.3)↑10.60 (0.3)↑10.78 (0.6)15/15

Δ fopt
f8, 3-D
1e1
27
1e0
45
1e-1
152
1e-2
179
1e-3
188
1e-5
198
1e-7
208
#succ
15/15
BIRMIN Kudela 1.5 (0.8)2.0 (2)0.80 (0.5)0.80 (0.4)0.81 (0.4)0.81 (0.3)0.80 (0.3)15/15
DIRECT-REV Kudela 0.81 (0.5)1.5 (1)0.69 (0.3)0.68 (0.3)0.70 (0.3)0.72 (0.3)0.71 (0.2)15/15
E-WOA Espinoza 27 (24)140 (228)85 (66)99 (95)105 (94)129 (94)138 (94)11/15
I-DBDP-GL Kudela 3.6 (2)8.1 (4)7.5 (2)12 (4)16 (4)25 (7)38 (8)15/15
WOA Espinoza 10 (5)64 (27)190 (395)358 (635)666 (838)3e40/15
a-CMA-ES Gissler 2.1 (2)5.2 (6)2.9 (2)3.0 (2)3.2 (2)3.5 (2)3.7 (2)15/15
ad-CMA-ES Gissler 2.2 (2)5.8 (5)3.0 (2)3.4 (2)3.6 (2)3.9 (1)4.1 (1)15/15
adm-CMA-ES Gissler 2.5 (1)6.6 (4)3.3 (2)3.4 (2)3.5 (1)3.9 (1)4.1 (1)15/15
c-CMA-ES Gissler 2.1 (2)8.1 (4)4.0 (2)3.9 (2)4.1 (1)4.4 (1)4.7 (1)15/15
cd-CMA-ES Gissler 1.7 (1)8.7 (9)4.0 (3)4.0 (3)4.2 (3)4.5 (3)4.8 (3)15/15
cdm-CMA-ES Gissler 2.1 (1)5.3 (4)3.6 (1)3.8 (1)4.0 (1)4.4 (0.9)4.7 (1)15/15
cma-bp-bbob Brockhoff 2.1 (2)5.9 (5)3.2 (2)3.3 (1)3.5 (2)3.9 (1)4.1 (1)15/15
cma-bt-bbob Brockhoff 2.7 (1)4.6 (2)2.6 (1)3.0 (0.9)3.1 (0.9)3.5 (0.7)3.7 (0.8)15/15
d-CMA-ES Gissler 2.5 (1.0)5.7 (4)3.2 (2)3.4 (1)3.6 (1)3.9 (1)4.2 (1)15/15
default-CMA-ES Gissler 2.1 (1)5.2 (4)3.1 (2)3.3 (2)3.5 (2)3.8 (2)4.0 (2)15/15
dm-CMA-ES Gissler 1.9 (1)5.4 (8)3.0 (2)3.1 (2)3.3 (2)3.7 (2)4.0 (2)15/15
m-SDWOA Espinoza 15 (12)33 (8)36 (9)39 (11)43 (9)52 (5)57 (6)14/15
s-CMA-ES Gissler 2.1 (1)5.0 (3)3.0 (1)3.2 (1.0)3.4 (0.9)3.7 (0.8)3.9 (0.9)15/15
sc-CMA-ES Gissler 1.9 (2)7.6 (11)4.1 (3)4.2 (3)4.4 (3)4.6 (3)4.8 (3)15/15
scd-CMA-ES Gissler 2.2 (2)6.0 (5)3.4 (2)3.7 (2)3.9 (2)4.2 (1)4.5 (1)15/15
scdm-CMA-ES Gissler 2.9 (2)8.3 (5)4.2 (2)4.3 (1)4.5 (1)4.7 (1)4.9 (1)15/15
sd-CMA-ES Gissler 2.6 (2)10 (10)4.5 (3)4.5 (3)4.5 (3)4.8 (3)5.0 (3)15/15
sdm-CMA-ES Gissler 3.1 (2)8.6 (7)4.2 (2)4.1 (2)4.3 (2)4.5 (2)4.8 (2)15/15

Δ fopt
f9, 3-D
1e1
21
1e0
65
1e-1
127
1e-2
149
1e-3
159
1e-5
169
1e-7
178
#succ
15/15
BIRMIN Kudela 1.8 (0.8)1.6 (1.0)1.1 (0.5)1.1 (0.4)1.0 (0.4)1.0 (0.4)1.0 (0.4)15/15
DIRECT-REV Kudela 1.7 (0.6)0.91 (0.5)0.73 (0.3)0.76 (0.2)0.77 (0.2)0.78 (0.2)0.77 (0.2)15/15
E-WOA Espinoza 20 (20)53 (88)305 (420)1399 (2105)2725 (2830)2580 (2973)2468 (3287)1/15
I-DBDP-GL Kudela 6.1 (4)6.5 (2)10 (4)14 (6)20 (5)35 (13)54 (19)15/15
WOA Espinoza 13 (8)92 (244)172 (298)572 (718)1259 (1637)3e40/15
a-CMA-ES Gissler 2.1 (2)3.4 (2)3.4 (2)3.5 (1)3.7 (1)4.1 (1)4.3 (1)15/15
ad-CMA-ES Gissler 2.5 (1)2.6 (3)3.1 (1)3.4 (1)3.6 (1)3.9 (0.9)4.3 (0.8)15/15
adm-CMA-ES Gissler 2.2 (2)3.3 (2)3.2 (2)3.4 (2)3.6 (1)4.0 (1)4.3 (1)15/15
c-CMA-ES Gissler 2.5 (2)3.9 (3)3.9 (2)4.1 (2)4.3 (2)4.6 (2)5.0 (2)15/15
cd-CMA-ES Gissler 2.5 (2)4.7 (3)4.4 (2)4.6 (2)4.8 (2)5.1 (2)5.4 (2)15/15
cdm-CMA-ES Gissler 2.9 (1)4.6 (3)4.3 (2)4.6 (2)4.7 (2)5.0 (2)5.3 (2)15/15
cma-bp-bbob Brockhoff 1.9 (1)3.3 (3)3.5 (2)3.7 (2)3.9 (2)4.3 (1)4.6 (1)15/15
cma-bt-bbob Brockhoff 2.7 (2)5.0 (4)4.6 (2)4.6 (2)4.7 (1)5.0 (2)5.2 (1)15/15
d-CMA-ES Gissler 2.4 (2)3.2 (2)3.5 (1)3.7 (1.0)3.8 (0.8)4.2 (0.9)4.6 (0.8)15/15
default-CMA-ES Gissler 2.6 (2)5.1 (5)4.2 (3)4.3 (2)4.3 (2)4.7 (2)4.9 (2)15/15
dm-CMA-ES Gissler 2.4 (2)4.0 (3)3.6 (2)3.9 (1)4.0 (1)4.3 (1)4.7 (1)15/15
m-SDWOA Espinoza 21 (8)17 (5)19 (5)26 (5)31 (4)40 (4)47 (4)15/15
s-CMA-ES Gissler 2.0 (1)4.6 (5)4.1 (3)4.2 (3)4.3 (2)4.7 (2)4.9 (2)15/15
sc-CMA-ES Gissler 2.4 (2)5.1 (4)4.7 (2)5.2 (2)5.3 (2)5.5 (2)5.7 (2)15/15
scd-CMA-ES Gissler 2.6 (1)4.3 (4)4.4 (3)4.5 (3)4.7 (3)5.0 (2)5.3 (2)15/15
scdm-CMA-ES Gissler 2.8 (2)5.1 (5)4.3 (3)4.5 (2)4.5 (2)4.9 (2)5.1 (2)15/15
sd-CMA-ES Gissler 2.2 (2)4.0 (3)4.4 (2)4.6 (2)4.6 (2)4.9 (2)5.1 (1)15/15
sdm-CMA-ES Gissler 2.7 (1)3.1 (2)3.6 (1)3.8 (1)3.9 (1)4.2 (1)4.5 (1)15/15

Δ fopt
f10, 3-D
1e1
114
1e0
152
1e-1
168
1e-2
180
1e-3
194
1e-5
218
1e-7
242
#succ
15/15
BIRMIN Kudela 0.51 (0.4)0.55 (0.3)↑10.60 (0.2)↑10.61 (0.3)↑10.62 (0.3)345 (688)4030 (6199)2/15
DIRECT-REV Kudela 0.47 (0.4)↑10.47 (0.3)↑00.52 (0.2)↑10.53 (0.2)↑10.55 (0.3)↑1510 (688)2482 (3409)1/15
E-WOA Espinoza 353 (467)1348 (1183)1226 (1518)1156 (1083)1083 (924)972 (1131)895 (646)2/15
I-DBDP-GL Kudela 16 (12)73 (79)132 (106)172 (104)211 (122)305 (139)433 (221)9/15
WOA Espinoza 752 (1256)2771 (4293)3e40/15
a-CMA-ES Gissler 2.6 (2)2.6 (1)2.8 (0.9)2.9 (0.7)2.9 (0.7)3.0 (0.6)3.1 (0.6)15/15
ad-CMA-ES Gissler 1.9 (1)2.1 (0.8)2.4 (0.6)2.5 (0.5)2.6 (0.4)2.7 (0.4)2.9 (0.5)15/15
adm-CMA-ES Gissler 2.4 (1)2.2 (0.6)2.4 (0.5)2.5 (0.5)2.6 (0.5)2.8 (0.4)3.0 (0.4)15/15
c-CMA-ES Gissler 2.3 (1)2.6 (0.8)2.7 (0.7)2.8 (0.6)2.9 (0.4)2.9 (0.5)3.0 (0.5)15/15
cd-CMA-ES Gissler 2.3 (0.9)2.3 (0.8)2.4 (0.6)2.6 (0.5)2.7 (0.4)2.9 (0.4)3.0 (0.3)15/15
cdm-CMA-ES Gissler 2.3 (1)2.3 (0.7)2.6 (0.6)2.8 (0.5)2.8 (0.4)2.9 (0.6)3.1 (0.5)15/15
cma-bp-bbob Brockhoff 2.2 (0.8)2.5 (0.8)2.6 (0.7)2.7 (0.8)2.8 (0.6)3.0 (0.7)3.0 (0.5)15/15
cma-bt-bbob Brockhoff 2.2 (1)2.3 (0.8)2.5 (0.7)2.6 (0.8)2.7 (0.6)2.9 (0.7)3.0 (0.7)15/15
d-CMA-ES Gissler 2.4 (1)2.4 (0.7)2.6 (0.4)2.6 (0.4)2.7 (0.4)2.9 (0.3)3.0 (0.2)15/15
default-CMA-ES Gissler 2.5 (1)2.5 (0.5)2.6 (0.7)2.7 (0.4)2.7 (0.5)2.8 (0.4)2.9 (0.4)15/15
dm-CMA-ES Gissler 2.3 (0.8)2.3 (0.8)2.4 (0.6)2.5 (0.6)2.6 (0.6)2.8 (0.6)3.0 (0.4)15/15
m-SDWOA Espinoza 18 (4)20 (4)23 (4)28 (3)31 (3)36 (2)41 (3)15/15
s-CMA-ES Gissler 2.2 (1)2.4 (1)2.6 (1.0)2.6 (0.9)2.6 (1.0)2.7 (0.9)2.9 (0.9)15/15
sc-CMA-ES Gissler 2.3 (1)2.3 (1)2.5 (0.7)2.7 (0.6)2.8 (0.5)2.9 (0.5)2.9 (0.4)15/15
scd-CMA-ES Gissler 2.4 (0.8)2.6 (0.7)2.7 (0.6)2.7 (0.5)2.8 (0.3)2.9 (0.5)3.1 (0.4)15/15
scdm-CMA-ES Gissler 2.6 (1)2.6 (0.6)2.7 (0.6)2.8 (0.6)2.9 (0.5)3.1 (0.3)3.2 (0.4)15/15
sd-CMA-ES Gissler 2.4 (1)2.4 (0.9)2.6 (0.5)2.7 (0.6)2.8 (0.5)2.9 (0.5)3.0 (0.4)15/15
sdm-CMA-ES Gissler 2.5 (1)2.4 (0.8)2.4 (0.4)2.6 (0.4)2.6 (0.4)2.8 (0.3)2.9 (0.3)15/15

Δ fopt
f11, 3-D
1e1
67
1e0
105
1e-1
227
1e-2
263
1e-3
277
1e-5
302
1e-7
327
#succ
15/15
BIRMIN Kudela 0.76 (0.4)0.64 (0.3)↑00.41 (0.2)↑00.46 (0.2)↑00.61 (0.2)↑1333 (497)6423 (5849)0/15
DIRECT-REV Kudela 0.55 (0.2)↑00.62 (0.2)↑10.43 (0.2)↑00.40 (0.2)↑00.97 (0.8)746 (1242)2e50/15
E-WOA Espinoza 165 (238)573 (449)902 (1421)1668 (1454)1603 (1056)3e40/15
I-DBDP-GL Kudela 21 (14)65 (51)58 (50)76 (50)100 (62)134 (67)199 (90)14/15
WOA Espinoza 268 (449)1212 (1509)1928 (1850)3e40/15
a-CMA-ES Gissler 3.7 (2)3.3 (0.8)1.8 (0.4)1.7 (0.3)1.8 (0.3)2.0 (0.3)2.1 (0.3)15/15
ad-CMA-ES Gissler 2.8 (2)2.9 (0.7)1.6 (0.2)1.6 (0.2)1.7 (0.2)1.9 (0.2)2.0 (0.2)15/15
adm-CMA-ES Gissler 3.9 (2)3.5 (0.8)1.8 (0.4)1.8 (0.4)1.8 (0.4)2.0 (0.3)2.2 (0.3)15/15
c-CMA-ES Gissler 3.8 (2)3.5 (0.7)1.8 (0.4)1.7 (0.3)1.8 (0.2)2.1 (0.3)2.2 (0.2)15/15
cd-CMA-ES Gissler 4.0 (1)3.5 (0.5)1.8 (0.2)1.7 (0.2)1.9 (0.3)2.0 (0.3)2.2 (0.3)15/15
cdm-CMA-ES Gissler 4.2 (2)3.4 (0.9)1.8 (0.3)1.7 (0.4)1.8 (0.3)2.0 (0.3)2.2 (0.3)15/15
cma-bp-bbob Brockhoff 3.8 (2)3.2 (1)1.9 (0.4)1.8 (0.4)1.9 (0.4)2.0 (0.3)2.2 (0.4)15/15
cma-bt-bbob Brockhoff 4.4 (4)4.0 (3)2.2 (1)2.0 (0.9)2.1 (0.8)2.2 (0.9)2.3 (0.8)15/15
d-CMA-ES Gissler 3.5 (2)3.0 (0.9)1.7 (0.4)1.6 (0.4)1.8 (0.2)1.9 (0.2)2.1 (0.2)15/15
default-CMA-ES Gissler 4.1 (2)3.8 (0.5)2.0 (0.4)1.8 (0.2)1.9 (0.2)2.1 (0.2)2.2 (0.2)15/15
dm-CMA-ES Gissler 3.1 (2)2.8 (0.9)1.6 (0.3)1.7 (0.3)1.7 (0.2)1.9 (0.2)2.1 (0.2)15/15
m-SDWOA Espinoza 14 (6)18 (5)14 (2)15 (2)18 (2)22 (2)26 (2)15/15
s-CMA-ES Gissler 3.8 (2)3.6 (1.0)1.8 (0.5)1.8 (0.4)1.9 (0.3)2.0 (0.3)2.1 (0.3)15/15
sc-CMA-ES Gissler 4.2 (2)3.9 (1)2.0 (0.5)1.9 (0.4)1.9 (0.4)2.1 (0.4)2.2 (0.4)15/15
scd-CMA-ES Gissler 4.3 (3)3.6 (1)1.9 (0.5)1.8 (0.5)1.9 (0.4)2.1 (0.4)2.2 (0.4)15/15
scdm-CMA-ES Gissler 3.8 (1)3.3 (1)1.8 (0.6)1.7 (0.4)1.8 (0.4)2.0 (0.4)2.1 (0.4)15/15
sd-CMA-ES Gissler 4.1 (3)3.7 (0.9)2.0 (0.4)1.9 (0.4)2.0 (0.2)2.1 (0.3)2.3 (0.3)15/15
sdm-CMA-ES Gissler 3.7 (2)3.2 (0.7)1.7 (0.3)1.6 (0.4)1.7 (0.4)1.9 (0.3)2.0 (0.3)15/15

Δ fopt
f12, 3-D
1e1
65
1e0
168
1e-1
338
1e-2
401
1e-3
445
1e-5
696
1e-7
790
#succ
15/15
BIRMIN Kudela 1.3 (0.8)0.86 (1)0.68 (0.9)0.68 (0.9)0.70 (0.9)108 (162)380 (380)4/15
DIRECT-REV Kudela 1.4 (0.9)1.3 (0.9)0.96 (0.7)0.94 (0.7)0.92 (0.7)161 (198)286 (380)5/15
E-WOA Espinoza 386 (258)340 (433)302 (252)348 (261)327 (284)645 (776)3e40/15
I-DBDP-GL Kudela 22 (8)18 (15)24 (13)36 (31)58 (33)66 (36)88 (28)15/15
WOA Espinoza 455 (594)1182 (1019)3e40/15
a-CMA-ES Gissler 3.5 (0.9)2.6 (2)2.6 (2)3.0 (3)3.2 (3)2.7 (2)2.8 (2)15/15
ad-CMA-ES Gissler 8.3 (10)5.2 (6)3.2 (3)3.0 (3)2.9 (3)2.2 (2)2.2 (2)15/15
adm-CMA-ES Gissler 6.4 (5)5.2 (5)3.5 (3)3.3 (3)3.2 (3)2.5 (2)2.6 (2)15/15
c-CMA-ES Gissler 5.9 (3)4.2 (3)3.3 (3)3.3 (3)3.4 (2)2.8 (2)2.9 (2)15/15
cd-CMA-ES Gissler 5.0 (3)4.4 (5)3.5 (4)3.8 (4)3.9 (3)3.3 (2)3.5 (2)15/15
cdm-CMA-ES Gissler 4.6 (2)4.2 (3)3.4 (2)3.4 (3)3.4 (2)2.8 (2)2.9 (2)15/15
cma-bp-bbob Brockhoff 4.1 (2)3.6 (3)3.3 (2)3.5 (3)3.6 (2)3.0 (2)3.2 (2)15/15
cma-bt-bbob Brockhoff 9.0 (11)6.6 (7)4.6 (4)4.5 (4)4.6 (3)3.7 (3)3.8 (2)15/15
d-CMA-ES Gissler 6.3 (2)4.7 (5)3.7 (4)3.9 (5)3.9 (4)3.1 (3)3.4 (3)15/15
default-CMA-ES Gissler 6.3 (4)4.4 (5)3.6 (3)3.8 (4)3.8 (4)3.1 (3)3.5 (3)15/15
dm-CMA-ES Gissler 6.8 (9)4.1 (7)2.8 (4)2.9 (3)3.0 (3)2.4 (2)2.5 (2)15/15
m-SDWOA Espinoza 51 (14)33 (10)27 (7)28 (12)30 (13)44 (54)41 (49)9/15
s-CMA-ES Gissler 4.9 (3)3.6 (4)2.6 (2)2.5 (2)2.6 (2)2.1 (2)2.2 (2)15/15
sc-CMA-ES Gissler 7.9 (7)5.0 (5)3.7 (3)3.7 (3)3.7 (3)2.9 (3)3.0 (3)15/15
scd-CMA-ES Gissler 5.7 (4)6.1 (5)4.8 (5)4.9 (4)4.9 (4)3.8 (3)3.8 (3)15/15
scdm-CMA-ES Gissler 5.1 (4)3.3 (3)2.3 (3)2.6 (2)2.7 (2)2.4 (2)2.6 (2)15/15
sd-CMA-ES Gissler 7.4 (7)5.3 (6)3.7 (4)3.5 (3)3.6 (3)2.8 (2)2.9 (2)15/15
sdm-CMA-ES Gissler 6.9 (3)4.5 (4)3.3 (3)3.4 (3)3.3 (2)2.7 (2)2.8 (2)15/15

Δ fopt
f13, 3-D
1e1
49
1e0
85
1e-1
108
1e-2
136
1e-3
215
1e-5
281
1e-7
365
#succ
15/15
BIRMIN Kudela 1.2 (0.5)1.0 (0.2)0.96 (0.2)0.94 (0.2)466 (1221)1469 (1868)2e50/15
DIRECT-REV Kudela 1.1 (0.4)0.93 (0.2)0.90 (0.2)0.86 (0.1)↑180 (60)3492 (5462)2e50/15
E-WOA Espinoza 227 (305)846 (1089)1919 (2219)3255 (4853)2086 (1570)3e40/15
I-DBDP-GL Kudela 7.5 (3)15 (5)31 (16)52 (23)66 (28)159 (98)279 (110)12/15
WOA Espinoza 235 (328)441 (706)1204 (1764)3e40/15
a-CMA-ES Gissler 3.0 (1)3.1 (1.0)3.5 (0.9)3.3 (0.9)2.5 (0.5)2.7 (0.4)2.7 (0.5)15/15
ad-CMA-ES Gissler 2.9 (0.7)2.9 (0.6)3.3 (0.4)3.4 (0.4)2.6 (0.4)2.7 (0.4)2.7 (0.4)15/15
adm-CMA-ES Gissler 2.7 (1)2.9 (0.8)3.3 (0.6)3.4 (0.4)2.6 (0.2)2.7 (0.3)2.6 (0.2)15/15
c-CMA-ES Gissler 3.3 (2)3.2 (2)3.9 (1)3.9 (0.8)2.9 (0.5)3.0 (0.4)2.9 (0.5)15/15
cd-CMA-ES Gissler 3.3 (2)3.1 (1)3.4 (0.8)3.6 (0.6)2.8 (0.3)2.9 (0.3)2.8 (0.2)15/15
cdm-CMA-ES Gissler 3.2 (2)3.5 (1)3.8 (0.6)3.8 (0.6)2.9 (0.4)3.0 (0.3)2.9 (0.2)15/15
cma-bp-bbob Brockhoff 3.2 (1)3.3 (1)3.4 (1)3.5 (0.8)2.9 (0.4)2.9 (0.5)2.7 (0.3)15/15
cma-bt-bbob Brockhoff 3.3 (1)3.5 (0.8)3.8 (0.9)3.6 (0.6)2.7 (0.4)2.7 (0.3)2.7 (0.3)15/15
d-CMA-ES Gissler 3.2 (1)3.1 (1)3.3 (0.8)3.2 (0.7)2.6 (0.4)2.8 (0.3)2.7 (0.3)15/15
default-CMA-ES Gissler 2.9 (1)3.2 (0.9)3.4 (0.9)3.4 (0.8)2.7 (0.6)2.8 (0.5)2.6 (0.3)15/15
dm-CMA-ES Gissler 2.8 (1.0)2.9 (1)3.4 (0.9)3.6 (0.7)2.8 (0.4)2.8 (0.4)2.7 (0.4)15/15
m-SDWOA Espinoza 23 (10)30 (6)40 (4)45 (3)36 (2)39 (2)39 (1)15/15
s-CMA-ES Gissler 2.9 (2)3.8 (2)4.0 (1)3.9 (1)2.9 (0.5)2.9 (0.4)2.8 (0.5)15/15
sc-CMA-ES Gissler 3.1 (2)4.3 (1)4.4 (1)4.2 (0.9)3.1 (0.6)3.1 (0.6)3.0 (0.5)15/15
scd-CMA-ES Gissler 2.9 (0.9)3.4 (0.8)3.7 (0.9)3.7 (0.5)2.8 (0.5)3.0 (0.4)2.8 (0.4)15/15
scdm-CMA-ES Gissler 2.9 (1)3.0 (2)3.2 (1)3.4 (0.9)2.7 (0.7)2.8 (0.5)3.0 (0.4)15/15
sd-CMA-ES Gissler 2.5 (2)3.2 (1)3.6 (1)3.4 (1.0)2.6 (0.7)2.8 (0.5)2.7 (0.4)15/15
sdm-CMA-ES Gissler 3.0 (2)3.2 (1)3.4 (0.7)3.5 (0.5)2.7 (0.3)2.6 (0.3)2.7 (0.3)15/15

Δ fopt
f14, 3-D
1e1
2.0
1e0
17
1e-1
28
1e-2
43
1e-3
71
1e-5
110
1e-7
194
#succ
15/15
BIRMIN Kudela 0.97 (0.8)2.3 (2)2.5 (0.9)4.7 (8)50 (62)497 (1023)3094 (3286)0/15
DIRECT-REV Kudela 3.4 (5)3.1 (2)2.6 (1)2.4 (0.9)1.7 (0.4)1.4 (0.3)5027 (4833)2/15
E-WOA Espinoza 2.1 (2)7.4 (9)46 (35)136 (103)287 (316)718 (677)2296 (2088)1/15
I-DBDP-GL Kudela 0.97 (0.8)1.9 (1)5.5 (2)11 (6)17 (9)70 (41)311 (244)10/15
WOA Espinoza 2.1 (2)4.6 (4)17 (11)229 (490)574 (675)3982 (3341)3e40/15
a-CMA-ES Gissler 1.7 (2)1.8 (0.8)3.0 (0.9)3.8 (1)3.6 (0.7)3.9 (0.6)3.1 (0.4)15/15
ad-CMA-ES Gissler 2.5 (2)2.5 (3)3.3 (2)4.2 (1)3.7 (0.6)4.0 (0.9)3.4 (0.5)15/15
adm-CMA-ES Gissler 1.9 (3)1.4 (1)3.1 (0.9)4.0 (1)3.6 (1)3.9 (0.7)3.2 (0.5)15/15
c-CMA-ES Gissler 1.3 (1)1.7 (2)2.8 (1.0)3.5 (1)3.7 (1)4.4 (0.8)3.5 (0.6)15/15
cd-CMA-ES Gissler 1.7 (2)1.8 (2)3.5 (0.7)4.0 (0.8)3.7 (0.8)4.4 (0.7)3.5 (0.4)15/15
cdm-CMA-ES Gissler 1.7 (2)1.5 (0.9)3.4 (1)3.8 (0.8)3.6 (0.9)4.2 (0.5)3.3 (0.3)15/15
cma-bp-bbob Brockhoff 1.3 (1)2.2 (1)3.5 (0.9)4.4 (2)3.9 (0.9)4.2 (0.7)3.3 (0.3)15/15
cma-bt-bbob Brockhoff 1.1 (0.8)1.8 (0.9)3.8 (1)3.9 (0.9)3.5 (0.7)3.9 (0.6)3.1 (0.5)15/15
d-CMA-ES Gissler 2.1 (3)2.3 (2)3.4 (1)4.1 (1)3.6 (0.9)4.1 (0.8)3.2 (0.5)15/15
default-CMA-ES Gissler 1.6 (2)1.9 (2)3.3 (1)3.5 (0.9)3.4 (0.9)3.8 (1.0)3.2 (0.6)15/15
dm-CMA-ES Gissler 2.3 (4)1.8 (1)2.8 (2)3.9 (1.0)3.3 (1.0)3.8 (1)3.2 (0.5)15/15
m-SDWOA Espinoza 2.1 (2)5.1 (4)27 (12)45 (9)42 (6)50 (5)42 (3)15/15
s-CMA-ES Gissler 2.6 (3)1.8 (1)3.3 (2)3.5 (1)3.4 (0.8)3.7 (0.6)3.1 (0.4)15/15
sc-CMA-ES Gissler 3.2 (4)2.5 (2)3.3 (2)4.2 (2)3.7 (0.8)4.3 (0.8)3.6 (0.7)15/15
scd-CMA-ES Gissler 1.4 (2)1.8 (1)3.0 (0.9)3.7 (2)3.4 (1)4.1 (1)3.4 (0.6)15/15
scdm-CMA-ES Gissler 2.0 (3)1.6 (1)3.4 (1)3.9 (0.7)3.7 (0.7)4.1 (0.5)3.2 (0.4)15/15
sd-CMA-ES Gissler 2.4 (4)2.4 (2)3.4 (1)3.6 (1)3.6 (1)3.9 (0.6)3.2 (0.6)15/15
sdm-CMA-ES Gissler 1.8 (2)1.8 (2)3.2 (2)3.6 (1)3.5 (1)3.8 (0.7)3.0 (0.4)15/15

Δ fopt
f15, 3-D
1e1
121
1e0
1372
1e-1
6285
1e-2
8282
1e-3
8429
1e-5
8787
1e-7
9041
#succ
15/15
BIRMIN Kudela 0.59 (0.5)1.5 (1)1.0 (0.8)0.93 (1.0)0.96 (1.0)3.4 (9)3.3 (8)13/15
DIRECT-REV Kudela 1.3 (0.8)0.75 (0.5)1.3 (2)0.96 (1)0.95 (1)0.91 (1)0.89 (1)15/15
E-WOA Espinoza 30 (44)57 (46)3e40/15
I-DBDP-GL Kudela 1.6 (1)1.2 (0.3)0.97 (1)0.79 (0.8)0.85 (0.8)0.99 (0.8)1.2 (0.8)15/15
WOA Espinoza 2.1 (1)3e40/15
a-CMA-ES Gissler 1.7 (1.0)1.6 (1)1.2 (1)0.92 (0.9)0.92 (0.9)0.92 (0.9)0.94 (0.9)15/15
ad-CMA-ES Gissler 0.75 (0.5)1.2 (1)1.1 (1)0.89 (1)0.91 (1)0.91 (1)0.92 (1)15/15
adm-CMA-ES Gissler 1.1 (0.9)1.7 (1)0.81 (0.7)0.63 (0.5)0.64 (0.5)0.64 (0.5)0.65 (0.5)15/15
c-CMA-ES Gissler 2.3 (5)2.1 (2)0.93 (0.8)0.74 (0.7)0.74 (0.7)0.75 (0.6)0.75 (0.6)15/15
cd-CMA-ES Gissler 0.83 (0.5)1.4 (1)1.3 (1)1.0 (1)1.0 (1)1.0 (1)1.0 (1)15/15
cdm-CMA-ES Gissler 1.0 (0.5)1.6 (1)0.94 (0.7)0.74 (0.5)0.74 (0.5)0.74 (0.5)0.75 (0.5)15/15
cma-bp-bbob Brockhoff 0.90 (0.7)1.3 (1)1.3 (2)1.0 (1)1.0 (1)1.0 (1)1.0 (1)15/15
cma-bt-bbob Brockhoff 1.3 (1)1.3 (1)1.7 (2)1.3 (2)1.3 (2)1.2 (2)1.2 (2)13/15
d-CMA-ES Gissler 0.97 (0.5)1.2 (1)0.80 (0.8)0.63 (0.6)0.63 (0.6)0.63 (0.6)0.64 (0.6)15/15
default-CMA-ES Gissler 1.5 (0.9)1.00 (1)0.98 (0.9)0.77 (0.7)0.77 (0.7)0.78 (0.7)0.79 (0.7)15/15
dm-CMA-ES Gissler 1.6 (0.5)1.3 (1)0.75 (0.9)0.67 (0.6)0.68 (0.7)0.68 (0.6)0.69 (0.6)15/15
m-SDWOA Espinoza 5.0 (3)5.9 (2)2.4 (0.8)2.3 (0.5)2.4 (0.4)2.5 (0.5)2.6 (0.4)15/15
s-CMA-ES Gissler 1.1 (0.6)1.4 (1)1.1 (0.8)0.85 (0.6)0.86 (0.6)0.85 (0.6)0.87 (0.6)15/15
sc-CMA-ES Gissler 1.3 (0.9)1.8 (2)0.91 (0.8)0.72 (0.6)0.72 (0.6)0.72 (0.6)0.73 (0.6)15/15
scd-CMA-ES Gissler 1.00 (0.7)1.7 (0.9)1.2 (0.9)0.92 (0.7)0.92 (0.7)0.92 (0.6)0.93 (0.6)15/15
scdm-CMA-ES Gissler 1.5 (1)2.3 (2)1.5 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
sd-CMA-ES Gissler 0.85 (0.7)0.76 (0.5)0.78 (0.8)0.61 (0.6)0.62 (0.6)0.62 (0.6)0.63 (0.6)15/15
sdm-CMA-ES Gissler 0.95 (0.7)1.1 (1)0.75 (0.3)0.61 (0.2)↑10.62 (0.2)↑10.62 (0.2)↑10.63 (0.2)↑115/15

Δ fopt
f16, 3-D
1e1
41
1e0
319
1e-1
582
1e-2
789
1e-3
1864
1e-5
3204
1e-7
3361
#succ
15/15
BIRMIN Kudela 2.6 (2)1.8 (1)1.9 (1)2.5 (2)3.3 (2)113 (144)2e50/15
DIRECT-REV Kudela 3.2 (3)1.7 (1)1.7 (0.9)2.7 (2)2.1 (1)39 (45)626 (603)0/15
E-WOA Espinoza 3.1 (4)12 (15)58 (69)255 (323)229 (221)135 (154)130 (165)1/15
I-DBDP-GL Kudela 1.5 (2)1.2 (0.6)1.4 (0.4)1.4 (0.4)0.92 (0.3)1.1 (0.4)1.6 (0.4)15/15
WOA Espinoza 2.1 (2)2.8 (2)64 (105)112 (181)106 (144)3e40/15
a-CMA-ES Gissler 1.4 (2)4.6 (3)3.8 (4)3.0 (3)1.3 (1)0.81 (0.7)0.81 (0.7)15/15
ad-CMA-ES Gissler 1.5 (2)1.7 (2)1.8 (2)1.7 (1)0.78 (0.5)0.49 (0.3)↑10.52 (0.3)↑115/15
adm-CMA-ES Gissler 1.0 (0.9)2.7 (3)3.8 (3)3.3 (3)1.5 (1)0.91 (0.7)0.92 (0.6)15/15
c-CMA-ES Gissler 1.8 (2)3.7 (6)2.7 (3)2.5 (3)1.1 (1)0.88 (1)0.88 (1)15/15
cd-CMA-ES Gissler 1.4 (2)1.6 (3)2.4 (4)1.9 (3)0.96 (1)0.65 (0.8)0.66 (0.8)15/15
cdm-CMA-ES Gissler 1.5 (2)1.2 (0.6)1.4 (2)2.0 (3)0.88 (1)0.56 (0.6)0.60 (0.6)15/15
cma-bp-bbob Brockhoff 1.1 (2)2.9 (3)3.6 (2)3.2 (3)1.5 (1)0.96 (0.7)0.96 (0.7)15/15
cma-bt-bbob Brockhoff 0.51 (0.4)↑11.7 (2)1.4 (1)2.8 (1)1.3 (0.6)0.88 (0.3)↑10.88 (0.3)↑115/15
d-CMA-ES Gissler 1.4 (2)1.7 (3)2.2 (3)1.8 (3)0.81 (1)0.51 (0.7)0.53 (0.7)15/15
default-CMA-ES Gissler 1.5 (2)1.8 (3)1.3 (2)1.2 (1)0.79 (1)0.53 (0.6)0.54 (0.6)15/15
dm-CMA-ES Gissler 1.2 (1)1.9 (3)2.1 (2)1.8 (1)0.85 (0.5)0.56 (0.3)↑10.73 (0.6)15/15
m-SDWOA Espinoza 2.4 (3)5.1 (4)22 (9)38 (23)57 (41)34 (33)66 (54)2/15
s-CMA-ES Gissler 1.9 (2)2.4 (2)2.8 (3)3.2 (4)1.4 (2)0.87 (1)0.88 (1)15/15
sc-CMA-ES Gissler 2.0 (2)2.8 (3)2.8 (3)2.8 (3)1.6 (1)1.0 (0.8)1.0 (0.7)15/15
scd-CMA-ES Gissler 1.0 (1)1.7 (2)2.1 (2)2.4 (2)1.1 (1)0.72 (0.7)0.74 (0.6)15/15
scdm-CMA-ES Gissler 2.0 (1)3.0 (6)3.5 (4)3.3 (3)1.5 (1)0.93 (0.8)1.1 (1)15/15
sd-CMA-ES Gissler 1.6 (1)3.7 (5)3.3 (4)2.9 (3)1.5 (1)0.95 (0.8)0.95 (0.7)15/15
sdm-CMA-ES Gissler 2.0 (2)2.7 (3)2.9 (4)2.3 (3)1.1 (1)0.66 (0.7)0.78 (0.7)15/15

Δ fopt
f17, 3-D
1e1
4.0
1e0
78
1e-1
282
1e-2
491
1e-3
1134
1e-5
2347
1e-7
3469
#succ
15/15
BIRMIN Kudela 1.3 (2)1.7 (1)1.9 (1)21 (24)272 (331)2e50/15
DIRECT-REV Kudela 1.3 (2)2.1 (1)1.9 (1)4.5 (4)21 (34)2e50/15
E-WOA Espinoza 2.0 (3)29 (30)69 (113)151 (230)188 (151)3e40/15
I-DBDP-GL Kudela 1.2 (1)1.7 (0.9)2.1 (0.7)3.8 (2)3.1 (0.8)4.0 (0.5)4.7 (0.5)15/15
WOA Espinoza 2.0 (3)11 (10)80 (136)269 (321)382 (390)3e40/15
a-CMA-ES Gissler 1.1 (1)1.3 (1)1.9 (2)1.9 (2)1.1 (0.7)1.1 (0.7)1.1 (0.6)15/15
ad-CMA-ES Gissler 2.0 (2)1.1 (1.0)0.87 (0.3)0.77 (0.2)↑10.75 (0.6)0.95 (0.8)1.1 (0.5)15/15
adm-CMA-ES Gissler 0.77 (0.6)0.99 (0.3)1.2 (0.4)1.2 (1)0.72 (0.7)1.3 (0.5)1.3 (0.5)15/15
c-CMA-ES Gissler 0.93 (1)1.3 (0.7)1.1 (0.6)1.5 (1)1.0 (0.6)1.0 (0.5)0.87 (0.4)15/15
cd-CMA-ES Gissler 1.4 (2)3.7 (0.9)1.7 (2)1.7 (2)0.89 (1.0)0.84 (0.7)0.72 (0.6)15/15
cdm-CMA-ES Gissler 0.87 (1)1 (0.7)0.81 (0.2)0.89 (0.2)0.75 (0.7)0.90 (0.4)0.93 (0.6)15/15
cma-bp-bbob Brockhoff 1.6 (2)0.98 (0.6)0.69 (0.2)↑10.66 (0.1)↑00.54 (0.4)0.84 (0.9)0.82 (0.6)15/15
cma-bt-bbob Brockhoff 2.0 (3)1.1 (0.5)0.78 (0.3)1.0 (1)0.73 (0.5)0.78 (0.4)1.0 (0.6)15/15
d-CMA-ES Gissler 1.5 (2)0.93 (0.5)0.74 (0.3)0.89 (0.3)0.65 (0.6)1.1 (0.9)0.92 (0.5)15/15
default-CMA-ES Gissler 0.78 (0.8)1.2 (0.4)1.7 (2)1.3 (1)0.73 (0.5)1.00 (0.8)0.98 (0.5)15/15
dm-CMA-ES Gissler 1.0 (2)1.5 (2)2.0 (4)1.5 (2)0.84 (0.9)0.88 (0.5)1.2 (0.5)15/15
m-SDWOA Espinoza 2.0 (3)6.6 (3)8.8 (2)11 (2)7.3 (1)6.5 (0.5)6.0 (0.3)15/15
s-CMA-ES Gissler 0.82 (0.9)1.7 (0.5)1.6 (2)1.3 (1)1.1 (0.9)1.0 (0.6)0.92 (0.4)15/15
sc-CMA-ES Gissler 1.3 (2)0.86 (0.4)0.89 (0.3)1.5 (1)1.2 (0.8)1.2 (0.6)1.0 (0.5)15/15
scd-CMA-ES Gissler 0.78 (0.8)1.3 (1.0)1.4 (2)1.7 (1)1.1 (0.7)1.1 (0.7)0.95 (0.7)15/15
scdm-CMA-ES Gissler 1.2 (2)1.8 (0.8)1.7 (2)1.7 (2)1.2 (0.8)1.2 (0.5)0.98 (0.5)15/15
sd-CMA-ES Gissler 1.8 (3)1.3 (0.9)0.87 (0.3)1.0 (0.2)0.94 (0.9)1.0 (0.8)0.88 (0.7)15/15
sdm-CMA-ES Gissler 1.4 (2)1.8 (0.5)1.2 (2)0.95 (1)0.73 (0.6)0.70 (0.4)0.72 (0.6)15/15

Δ fopt
f18, 3-D
1e1
40
1e0
145
1e-1
1289
1e-2
3084
1e-3
3523
1e-5
4738
1e-7
5527
#succ
15/15
BIRMIN Kudela 4.8 (9)5.1 (4)1.8 (1)10 (20)94 (109)2e50/15
DIRECT-REV Kudela 6.4 (6)11 (11)2.3 (1)2.7 (2)23 (48)2e50/15
E-WOA Espinoza 7.2 (9)136 (215)97 (140)139 (102)122 (155)3e40/15
I-DBDP-GL Kudela 1.5 (1)2.5 (1)1.2 (0.4)1.2 (0.6)2.0 (1)3.5 (1)5.0 (2)15/15
WOA Espinoza 3.0 (3)166 (216)71 (91)3e40/15
a-CMA-ES Gissler 1.0 (1)2.6 (4)0.89 (1)0.50 (0.6)0.57 (0.6)0.79 (0.4)0.79 (0.4)15/15
ad-CMA-ES Gissler 0.84 (0.5)2.6 (5)0.94 (1)0.50 (0.7)0.59 (0.6)0.61 (0.5)0.62 (0.5)15/15
adm-CMA-ES Gissler 1.1 (1)2.3 (4)0.67 (0.6)0.37 (0.3)↑00.37 (0.2)↑00.62 (0.3)0.73 (0.3)15/15
c-CMA-ES Gissler 0.99 (0.7)2.8 (6)1.1 (0.7)0.69 (0.2)↑10.67 (0.2)↑10.68 (0.4)0.64 (0.4)15/15
cd-CMA-ES Gissler 0.98 (0.6)2.1 (0.6)0.56 (0.6)0.40 (0.4)↑00.54 (0.3)↑10.73 (0.5)0.73 (0.3)15/15
cdm-CMA-ES Gissler 1.1 (0.9)2.4 (4)0.79 (0.8)0.42 (0.4)↑10.53 (0.6)0.66 (0.5)0.66 (0.5)15/15
cma-bp-bbob Brockhoff 0.85 (0.9)5.1 (10)1.8 (2)0.95 (0.8)0.89 (0.8)0.99 (0.5)0.97 (0.4)15/15
cma-bt-bbob Brockhoff 0.61 (0.5)2.2 (4)0.67 (0.6)0.48 (0.3)↑10.47 (0.3)↑10.85 (0.6)0.93 (0.5)15/15
d-CMA-ES Gissler 1.1 (1)2.1 (0.9)1.1 (0.8)0.65 (0.6)0.65 (0.5)0.79 (0.4)0.79 (0.4)15/15
default-CMA-ES Gissler 0.98 (0.9)2.7 (6)0.83 (0.7)0.66 (0.7)0.65 (0.6)0.70 (0.4)0.74 (0.3)15/15
dm-CMA-ES Gissler 0.75 (0.7)2.4 (3)0.79 (0.8)0.66 (0.6)0.63 (0.6)0.75 (0.5)0.78 (0.5)15/15
m-SDWOA Espinoza 3.1 (3)13 (3)3.1 (0.7)2.5 (0.6)3.3 (0.4)4.0 (0.3)4.6 (0.3)14/15
s-CMA-ES Gissler 1.1 (0.9)1.2 (0.4)0.90 (0.7)0.54 (0.3)↑10.61 (0.6)0.81 (0.4)0.96 (0.7)15/15
sc-CMA-ES Gissler 1.1 (1)2.1 (0.7)1.2 (1)0.93 (0.7)0.89 (0.6)0.92 (0.3)1.0 (0.3)15/15
scd-CMA-ES Gissler 0.77 (0.7)1.3 (0.4)0.86 (0.7)0.48 (0.3)↑10.60 (0.6)0.72 (0.5)0.73 (0.5)15/15
scdm-CMA-ES Gissler 0.85 (0.8)1.7 (0.7)0.72 (0.8)0.51 (0.7)0.57 (0.6)0.72 (0.4)0.76 (0.4)15/15
sd-CMA-ES Gissler 0.81 (0.7)1.7 (0.6)0.62 (0.7)0.40 (0.3)↑00.43 (0.3)↑00.69 (0.4)0.74 (0.3)15/15
sdm-CMA-ES Gissler 1.3 (1)2.9 (6)0.90 (0.7)0.66 (0.6)0.71 (0.4)0.70 (0.3)0.66 (0.3)15/15

Δ fopt
f19, 3-D
1e1
1
1e0
1
1e-1
109
1e-2
6764
1e-3
7367
1e-5
7399
1e-7
7441
#succ
15/15
BIRMIN Kudela 7.2 (9)950 (1001)41 (29)5.3 (4)6.9 (7)19 (13)92 (117)2/15
DIRECT-REV Kudela 1 (0)1 (0)1.6 (1.0)★21.0 (1)1.6 (2)1.6 (2)1.6 (2)12/15
E-WOA Espinoza 13 (14)570 (512)156 (178)7.3 (8)18 (30)19 (19)29 (25)1/15
I-DBDP-GL Kudela 5.9 (8)332 (282)28 (24)4.0 (5)6.4 (11)6.5 (11)6.6 (11)13/15
WOA Espinoza 13 (14)461 (529)121 (281)3e40/15
a-CMA-ES Gissler 1 (0)1 (0)52 (69)2.4 (3)2.5 (4)2.5 (4)2.5 (4)15/15
ad-CMA-ES Gissler 1 (0)1 (0)62 (48)3.9 (5)3.7 (4)3.8 (4)3.8 (4)15/15
adm-CMA-ES Gissler 1 (0)1 (0)61 (61)3.4 (3)3.5 (3)3.5 (3)3.6 (3)15/15
c-CMA-ES Gissler 1 (0)1 (0)42 (40)1.7 (1)1.6 (1)1.6 (1)1.7 (1)15/15
cd-CMA-ES Gissler 1 (0)1 (0)40 (49)2.4 (3)3.6 (3)3.7 (3)3.7 (3)15/15
cdm-CMA-ES Gissler 1 (0)1 (0)58 (64)3.3 (3)3.2 (3)3.2 (3)3.2 (3)15/15
cma-bp-bbob Brockhoff 1 (0)1 (0)57 (38)2.0 (2)2.5 (2)2.5 (2)2.5 (2)13/15
cma-bt-bbob Brockhoff 1 (0)1 (0)44 (48)1.6 (2)1.9 (1)2.0 (1)2.0 (1)15/15
d-CMA-ES Gissler 1 (0)1 (0)40 (56)2.2 (3)2.1 (3)2.2 (3)2.2 (3)15/15
default-CMA-ES Gissler 1 (0)1 (0)37 (42)1.4 (1)1.9 (2)1.9 (2)1.9 (2)15/15
dm-CMA-ES Gissler 1 (0)1 (0)50 (65)3.7 (3)3.5 (3)3.5 (3)3.5 (3)15/15
m-SDWOA Espinoza 13 (14)311 (222)39 (14)2.1 (1.0)4.0 (3)10 (11)30 (26)2/15
s-CMA-ES Gissler 1 (0)1 (0)82 (102)3.8 (4)4.6 (3)4.6 (3)4.7 (3)15/15
sc-CMA-ES Gissler 1 (0)1 (0)58 (51)2.9 (2)3.2 (2)3.2 (3)3.3 (3)15/15
scd-CMA-ES Gissler 1 (0)1 (0)53 (68)3.4 (4)3.4 (4)3.5 (4)3.5 (4)15/15
scdm-CMA-ES Gissler 1 (0)1 (0)38 (40)2.3 (2)2.3 (2)2.6 (2)2.6 (2)15/15
sd-CMA-ES Gissler 1 (0)1 (0)68 (86)2.4 (3)2.8 (2)2.8 (2)2.8 (2)15/15
sdm-CMA-ES Gissler 1 (0)1 (0)50 (52)3.9 (4)4.0 (4)4.1 (4)4.1 (4)15/15

Δ fopt
f20, 3-D
1e1
8.0
1e0
385
1e-1
2291
1e-2
2398
1e-3
2481
1e-5
2573
1e-7
2776
#succ
15/15
BIRMIN Kudela 0.76 (1)0.28 (0.2)↑00.37 (0.7)0.48 (0.7)0.92 (1)32 (44)36 (68)9/15
DIRECT-REV Kudela 2.0 (0)0.51 (0.0)↑03.5 (3)3.4 (2)3.3 (2)3.1 (2)2.9 (2)15/15
E-WOA Espinoza 6.2 (5)8.6 (8)12 (15)13 (15)17 (23)20 (21)23 (17)5/15
I-DBDP-GL Kudela 0.75 (1)0.40 (0.3)↑10.32 (0.2)↑00.46 (0.2)↑00.57 (0.2)↑01.0 (0.3)1.5 (0.4)15/15
WOA Espinoza 6.2 (5)91 (118)85 (75)3e40/15
a-CMA-ES Gissler 1.4 (1)4.2 (4)4.8 (4)5.2 (4)5.2 (4)5.2 (4)5.0 (4)15/15
ad-CMA-ES Gissler 1.3 (0.9)7.2 (7)7.0 (4)6.9 (4)7.0 (4)7.1 (4)6.8 (4)15/15
adm-CMA-ES Gissler 1.3 (1)3.9 (3)4.4 (4)4.6 (4)4.6 (4)4.6 (4)4.4 (4)15/15
c-CMA-ES Gissler 1.2 (0.8)4.6 (4)4.6 (4)4.7 (4)4.7 (4)4.7 (4)4.5 (4)15/15
cd-CMA-ES Gissler 1.4 (1)4.8 (4)5.5 (5)5.5 (4)5.5 (4)5.5 (5)5.3 (4)15/15
cdm-CMA-ES Gissler 1.5 (1)4.4 (5)5.4 (4)5.5 (4)5.5 (4)5.5 (4)5.3 (4)15/15
cma-bp-bbob Brockhoff 1.3 (1)4.0 (4)5.0 (4)5.1 (5)5.0 (5)5.0 (5)4.8 (4)14/15
cma-bt-bbob Brockhoff 2.0 (2)6.0 (6)5.7 (7)5.6 (7)5.5 (6)5.5 (6)5.2 (5)13/15
d-CMA-ES Gissler 0.89 (0.4)5.1 (4)6.1 (4)6.2 (4)6.1 (4)6.2 (4)5.9 (4)15/15
default-CMA-ES Gissler 1.5 (1)5.8 (7)4.6 (5)4.6 (5)4.6 (5)4.6 (5)4.5 (5)15/15
dm-CMA-ES Gissler 1.5 (1)4.3 (3)5.0 (4)5.0 (4)5.0 (4)5.0 (4)4.8 (4)15/15
m-SDWOA Espinoza 6.2 (5)4.3 (2)9.2 (10)12 (13)12 (8)12 (7)12 (6)11/15
s-CMA-ES Gissler 2.5 (2)4.5 (6)4.6 (5)4.7 (5)4.6 (5)4.7 (5)4.5 (5)15/15
sc-CMA-ES Gissler 1.7 (2)3.1 (5)5.6 (5)5.7 (5)5.6 (5)5.7 (5)5.4 (5)15/15
scd-CMA-ES Gissler 1.4 (1)3.5 (4)7.0 (8)7.0 (8)7.0 (8)7.1 (8)6.8 (8)15/15
scdm-CMA-ES Gissler 1.2 (0.8)4.3 (4)6.8 (7)6.9 (7)6.9 (7)6.9 (7)6.5 (7)15/15
sd-CMA-ES Gissler 1.8 (2)4.8 (6)4.4 (4)5.1 (4)5.0 (4)5.1 (4)4.9 (4)15/15
sdm-CMA-ES Gissler 1.7 (2)7.0 (7)5.1 (3)5.2 (3)5.1 (3)5.1 (3)4.9 (3)15/15

Δ fopt
f21, 3-D
1e1
6.0
1e0
184
1e-1
425
1e-2
439
1e-3
458
1e-5
469
1e-7
482
#succ
14/15
BIRMIN Kudela 1.2 (1)0.75 (0.8)0.57 (0.3)↑00.90 (0.7)1.1 (1)3.0 (4)95 (140)10/15
DIRECT-REV Kudela 3.2 (7)0.88 (0.7)0.66 (0.5)0.71 (0.5)0.74 (0.5)0.77 (0.5)0.83 (0.4)14/15
E-WOA Espinoza 1.4 (1)6.2 (10)10 (12)17 (17)20 (21)28 (38)36 (30)13/15
I-DBDP-GL Kudela 0.82 (0.6)0.82 (0.7)0.50 (0.3)↑10.71 (0.3)0.82 (0.4)1.3 (0.4)2.2 (0.5)15/15
WOA Espinoza 1.4 (1)42 (82)36 (71)37 (69)38 (66)99 (98)255 (451)1/15
a-CMA-ES Gissler 1.3 (0.9)3.8 (5)9.2 (15)10 (15)10 (16)11 (16)11 (16)15/15
ad-CMA-ES Gissler 1.8 (0.9)3.3 (3)4.9 (8)4.9 (9)4.9 (8)5.1 (8)5.1 (8)15/15
adm-CMA-ES Gissler 0.82 (0.7)2.2 (3)11 (26)14 (27)14 (26)15 (28)16 (28)15/15
c-CMA-ES Gissler 0.89 (0.6)3.0 (5)5.3 (9)5.4 (8)5.4 (8)5.6 (9)5.6 (9)15/15
cd-CMA-ES Gissler 1.9 (1)3.8 (6)11 (8)12 (8)12 (8)12 (8)12 (8)15/15
cdm-CMA-ES Gissler 1.2 (2)4.3 (6)14 (23)49 (84)49 (95)74 (101)74 (107)14/15
cma-bp-bbob Brockhoff 1.2 (2)16 (17)19 (40)18 (35)18 (40)18 (33)18 (32)13/15
cma-bt-bbob Brockhoff 1.2 (1)12 (11)12 (12)12 (12)13 (13)13 (13)13 (14)14/15
d-CMA-ES Gissler 1.7 (2)4.2 (6)10 (5)11 (5)56 (5)55 (5)54 (5)14/15
default-CMA-ES Gissler 1.7 (2)2.7 (3)5.8 (7)5.6 (7)6.0 (9)6.6 (9)6.7 (9)15/15
dm-CMA-ES Gissler 3.0 (5)7.0 (10)11 (16)11 (16)11 (17)12 (18)12 (18)15/15
m-SDWOA Espinoza 1.4 (1)1.9 (2)3.1 (2)5.3 (2)7.2 (3)11 (3)13 (3)15/15
s-CMA-ES Gissler 0.91 (1)7.9 (5)27 (10)26 (9)27 (9)29 (9)29 (9)15/15
sc-CMA-ES Gissler 1.1 (1)3.2 (5)4.6 (6)4.7 (5)4.6 (5)4.7 (5)4.8 (5)15/15
scd-CMA-ES Gissler 0.81 (0.8)6.9 (7)12 (22)19 (39)24 (40)25 (42)25 (43)15/15
scdm-CMA-ES Gissler 2.1 (2)5.6 (6)12 (22)12 (21)12 (20)13 (25)13 (25)15/15
sd-CMA-ES Gissler 0.90 (0.9)0.94 (2)3.1 (5)3.2 (5)3.1 (4)3.3 (5)3.4 (4)15/15
sdm-CMA-ES Gissler 1.4 (2)3.8 (6)14 (14)41 (15)66 (15)65 (15)63 (15)14/15

Δ fopt
f22, 3-D
1e1
18
1e0
170
1e-1
354
1e-2
362
1e-3
384
1e-5
401
1e-7
414
#succ
15/15
BIRMIN Kudela 1.8 (2)0.80 (0.6)0.97 (1)1.3 (1)1.6 (2)10 (12)84 (181)7/15
DIRECT-REV Kudela 2.3 (3)0.97 (0.8)1.2 (1.0)1.2 (1.0)1.2 (1)1.2 (1.0)19 (41)10/15
E-WOA Espinoza 2.1 (2)12 (12)32 (38)72 (99)89 (115)135 (134)168 (198)4/15
I-DBDP-GL Kudela 0.92 (0.9)0.48 (0.4)↑01.2 (1)1.7 (1)2.0 (1)2.9 (1)4.6 (2)15/15
WOA Espinoza 1.9 (2)17 (11)61 (66)84 (124)169 (213)494 (387)487 (757)2/15
a-CMA-ES Gissler 1.3 (1)1.9 (2)11 (26)41 (96)62 (90)169 (355)164 (345)12/15
ad-CMA-ES Gissler 0.87 (0.9)9.0 (13)21 (45)86 (90)127 (308)124 (290)125 (284)13/15
adm-CMA-ES Gissler 1.1 (1)2.2 (3)28 (32)32 (52)158 (468)201 (347)203 (350)12/15
c-CMA-ES Gissler 1.1 (0.8)3.3 (6)18 (26)28 (43)39 (68)125 (310)122 (316)13/15
cd-CMA-ES Gissler 1.1 (0.9)2.7 (4)34 (83)86 (166)81 (157)159 (295)157 (295)12/15
cdm-CMA-ES Gissler 2.1 (2)3.1 (3)13 (19)30 (50)73 (47)181 (353)175 (336)12/15
cma-bp-bbob Brockhoff 1.5 (1)6.2 (10)16 (18)21 (32)26 (39)26 (46)28 (45)12/15
cma-bt-bbob Brockhoff 1.2 (0.6)5.6 (6)17 (19)39 (46)38 (47)42 (75)41 (97)10/15
d-CMA-ES Gissler 0.92 (0.7)4.0 (6)10 (6)11 (7)49 (7)47 (7)46 (7)14/15
default-CMA-ES Gissler 1.7 (1)5.4 (6)24 (26)68 (93)73 (90)112 (304)110 (314)13/15
dm-CMA-ES Gissler 4.1 (1)2.2 (3)14 (24)20 (23)73 (108)108 (325)105 (315)13/15
m-SDWOA Espinoza 2.0 (2)2.5 (2)4.2 (4)7.9 (5)9.4 (8)12 (6)17 (5)15/15
s-CMA-ES Gissler 1.1 (0.7)2.5 (3)8.3 (10)16 (31)30 (51)114 (308)112 (296)13/15
sc-CMA-ES Gissler 1.2 (0.9)4.6 (7)18 (34)20 (33)42 (58)63 (58)62 (57)14/15
scd-CMA-ES Gissler 0.67 (0.6)2.0 (3)12 (12)13 (11)55 (48)93 (282)90 (274)13/15
scdm-CMA-ES Gissler 1.1 (1)6.5 (11)12 (10)19 (30)71 (54)182 (364)177 (349)12/15
sd-CMA-ES Gissler 1.3 (2)4.8 (6)11 (14)17 (25)61 (27)59 (26)58 (26)14/15
sdm-CMA-ES Gissler 1.5 (2)5.7 (7)33 (56)63 (109)61 (103)258 (1064)251 (561)12/15

Δ fopt
f23, 3-D
1e1
3.0
1e0
407
1e-1
906
1e-2
1215
1e-3
2214
1e-5
2293
1e-7
2393
#succ
15/15
BIRMIN Kudela 3.9 (5)3.2 (3)104 (130)345 (494)959 (1101)2e50/15
DIRECT-REV Kudela 2.6 (3)1.5 (2)79 (156)97 (123)110 (146)2e50/15
E-WOA Espinoza 3.2 (2)30 (21)3e40/15
I-DBDP-GL Kudela 2.5 (2)3.4 (1)4.1 (3)4.7 (2)4.0 (1)7.2 (2)11 (2)15/15
WOA Espinoza 3.2 (2)14 (34)471 (613)3e40/15
a-CMA-ES Gissler 3.1 (4)10 (7)6.9 (8)5.4 (6)3.0 (3)3.1 (3)3.1 (3)15/15
ad-CMA-ES Gissler 3.5 (3)2.3 (2)2.8 (3)2.2 (2)1.3 (1)1.3 (1)1.4 (1)15/15
adm-CMA-ES Gissler 2.2 (2)3.8 (3)3.8 (5)3.0 (4)2.1 (3)2.1 (3)2.2 (3)15/15
c-CMA-ES Gissler 2.3 (3)6.0 (5)6.3 (8)5.0 (6)2.8 (3)3.0 (3)3.0 (3)15/15
cd-CMA-ES Gissler 3.1 (4)4.7 (3)6.0 (6)4.7 (5)2.6 (3)2.7 (3)2.7 (2)15/15
cdm-CMA-ES Gissler 3.6 (4)6.9 (5)15 (9)12 (7)6.5 (4)6.7 (4)6.6 (4)15/15
cma-bp-bbob Brockhoff 3.0 (2)3.8 (4)7.9 (9)6.1 (7)3.4 (4)3.4 (4)3.4 (3)15/15
cma-bt-bbob Brockhoff 2.3 (3)5.4 (7)5.7 (6)4.4 (5)2.5 (3)2.6 (2)2.6 (2)15/15
d-CMA-ES Gissler 3.8 (4)5.1 (4)5.1 (6)4.8 (6)2.7 (3)2.8 (3)2.8 (3)15/15
default-CMA-ES Gissler 4.1 (5)6.5 (12)6.3 (6)5.1 (4)2.9 (2)2.9 (2)2.9 (2)15/15
dm-CMA-ES Gissler 3.5 (4)6.8 (6)54 (10)42 (9)23 (5)22 (5)22 (5)14/15
m-SDWOA Espinoza 3.2 (2)7.0 (8)494 (498)3e40/15
s-CMA-ES Gissler 2.5 (2)5.3 (5)8.3 (5)6.6 (4)3.7 (2)3.7 (2)3.7 (2)15/15
sc-CMA-ES Gissler 3.9 (4)10 (13)7.8 (10)7.1 (8)6.9 (5)6.9 (5)6.7 (5)15/15
scd-CMA-ES Gissler 4.1 (8)6.6 (7)6.2 (6)4.8 (5)2.7 (3)3.2 (4)3.2 (4)15/15
scdm-CMA-ES Gissler 5.1 (6)8.2 (10)11 (9)10 (7)5.4 (4)5.4 (4)5.3 (4)15/15
sd-CMA-ES Gissler 2.1 (2)6.7 (11)7.3 (9)6.2 (7)3.5 (4)3.5 (4)3.5 (4)15/15
sdm-CMA-ES Gissler 3.4 (4)6.8 (9)8.7 (8)6.6 (7)3.7 (4)3.8 (4)3.8 (4)15/15

Δ fopt
f24, 3-D
1e1
97
1e0
10391
1e-1
1.0e5
1e-2
3.6e5
1e-3
3.6e5
1e-5
3.6e5
1e-7
3.6e5
#succ
2/15
BIRMIN Kudela 0.62 (0.3)↑14.1 (4)2e50/15
DIRECT-REV Kudela 2.9 (2)2.7 (3)3.6 (2)1.4 (2)1.4 (1.0)1.4 (1)1.4 (1.0)4/15
E-WOA Espinoza 21 (22)42 (36)3e40/15
I-DBDP-GL Kudela 2.6 (3)3.6 (6)0.62 (0.5)0.30 (0.2)0.30 (0.3)0.30 (0.3)0.31 (0.3)11/15
WOA Espinoza 4.5 (4)19 (22)4.1 (6)1.2 (1)3e40/15
a-CMA-ES Gissler 1.6 (1)67 (87)39 (45)24 (22)24 (32)24 (28)24 (26)1/15
ad-CMA-ES Gissler 1.3 (0.9)38 (74)83 (105)24 (39)24 (44)24 (35)24 (24)1/15
adm-CMA-ES Gissler 1.3 (1)39 (73)38 (45)24 (29)24 (28)24 (29)24 (32)1/15
c-CMA-ES Gissler 2.2 (1)101 (109)6e50/15
cd-CMA-ES Gissler 2.6 (0.8)14 (29)25 (35)25 (33)25 (17)25 (18)25 (23)1/15
cdm-CMA-ES Gissler 0.90 (1.0)67 (116)16 (19)11 (15)11 (10)11 (10)11 (13)2/15
cma-bp-bbob Brockhoff 5.4 (10)2.6 (3)3e40/15
cma-bt-bbob Brockhoff 1.6 (1.0)5.1 (6)3e40/15
d-CMA-ES Gissler 1.6 (0.9)46 (61)25 (30)25 (20)25 (29)25 (33)25 (16)1/15
default-CMA-ES Gissler 4.0 (8)119 (202)24 (22)11 (8)11 (12)11 (18)11 (18)2/15
dm-CMA-ES Gissler 1.5 (1)87 (72)38 (53)6e50/15
m-SDWOA Espinoza 4.4 (3)4.5 (4)3e40/15
s-CMA-ES Gissler 2.3 (2)377 (492)82 (102)24 (27)24 (40)24 (27)24 (27)1/15
sc-CMA-ES Gissler 2.3 (2)67 (87)38 (39)11 (14)11 (8)11 (12)11 (11)2/15
scd-CMA-ES Gissler 1.1 (0.7)52 (73)38 (45)6e50/15
scdm-CMA-ES Gissler 1.5 (1)51 (58)6e50/15
sd-CMA-ES Gissler 2.0 (2)97 (73)86 (91)25 (21)25 (29)25 (26)25 (22)1/15
sdm-CMA-ES Gissler 1.8 (1)160 (218)6e50/15

Previous dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D
1e1
11
1e0
12
1e-1
12
1e-2
12
1e-3
12
1e-5
12
1e-7
12
#succ
15/15
BIRMIN Kudela 1.6 (1)3.4 (0.4)3.9 (1)3.9 (1)4.4 (2)7.2 (0.8)7.6 (1)15/15
DIRECT-REV Kudela 2.2 (1)2.9 (0.4)3.0 (0.2)★33.0 (0.2)★33.2 (0.3)★26.0 (0.2)★36.4 (0.5)★215/15
E-WOA Espinoza 8.0 (9)84 (34)211 (109)341 (187)475 (226)928 (394)1351 (438)15/15
I-DBDP-GL Kudela 1.3 (1)14 (7)49 (19)91 (24)176 (35)391 (57)695 (122)15/15
WOA Espinoza 7.6 (9)37 (17)508 (346)1492 (2177)9205 (9286)5e40/15
a-CMA-ES Gissler 1.9 (1)6.5 (3)13 (2)19 (2)26 (3)38 (5)52 (5)15/15
ad-CMA-ES Gissler 1.5 (1.0)6.4 (3)13 (4)20 (2)27 (5)40 (4)55 (4)15/15
adm-CMA-ES Gissler 1.7 (1.0)8.3 (2)14 (3)21 (5)28 (3)41 (3)55 (3)15/15
c-CMA-ES Gissler 2.3 (2)7.8 (4)14 (3)21 (4)28 (5)40 (6)54 (7)15/15
cd-CMA-ES Gissler 1.5 (1)7.9 (2)15 (5)22 (5)30 (5)44 (7)59 (6)15/15
cdm-CMA-ES Gissler 2.1 (2)8.4 (3)15 (4)22 (3)28 (5)44 (4)59 (5)15/15
cma-bp-bbob Brockhoff 2.0 (2)8.5 (3)14 (3)21 (4)27 (5)39 (5)53 (5)15/15
cma-bt-bbob Brockhoff 1.9 (2)10 (4)16 (5)24 (6)31 (7)42 (7)55 (5)15/15
d-CMA-ES Gissler 1.9 (2)7.4 (3)15 (4)22 (4)28 (4)43 (6)57 (4)15/15
default-CMA-ES Gissler 1.6 (1)6.2 (2)12 (2)19 (4)25 (4)39 (7)50 (8)15/15
dm-CMA-ES Gissler 1.4 (1)7.9 (2)14 (3)22 (2)28 (3)43 (5)57 (6)15/15
m-SDWOA Espinoza 12 (12)67 (26)162 (26)247 (36)350 (39)559 (34)762 (39)15/15
s-CMA-ES Gissler 1.7 (1)7.2 (3)14 (4)20 (5)27 (5)40 (8)52 (8)15/15
sc-CMA-ES Gissler 2.2 (1)7.0 (3)15 (5)22 (4)28 (5)40 (6)54 (6)15/15
scd-CMA-ES Gissler 1.8 (1)6.7 (3)16 (5)24 (6)29 (6)43 (5)57 (5)15/15
scdm-CMA-ES Gissler 2.2 (2)8.4 (4)15 (4)21 (6)29 (5)42 (4)57 (7)15/15
sd-CMA-ES Gissler 2.1 (2)7.7 (3)14 (4)21 (3)27 (4)40 (6)55 (5)15/15
sdm-CMA-ES Gissler 2.0 (2)7.5 (3)14 (4)20 (4)27 (6)41 (6)54 (8)15/15

Δ fopt
f2, 5-D
1e1
83
1e0
87
1e-1
88
1e-2
89
1e-3
90
1e-5
92
1e-7
94
#succ
15/15
BIRMIN Kudela 1.5 (0.8)1.7 (0.8)2.4 (0.8)2.6 (0.8)2.8 (0.9)3.2 (1.0)3.5 (1)15/15
DIRECT-REV Kudela 1.1 (0.4)1.4 (0.5)2.0 (0.8)2.3 (0.5)2.5 (0.6)3.0 (0.8)3.3 (0.7)14/15
E-WOA Espinoza 171 (104)263 (294)295 (305)332 (306)367 (309)436 (273)580 (402)10/15
I-DBDP-GL Kudela 45 (13)59 (11)80 (25)106 (22)130 (19)220 (49)294 (47)15/15
WOA Espinoza 8556 (1e4)5e40/15
a-CMA-ES Gissler 7.1 (2)9.0 (2)10 (2)11 (1)11 (2)13 (1)14 (1)15/15
ad-CMA-ES Gissler 7.5 (3)9.3 (2)10 (2)11 (2)12 (1)14 (2)15 (2)15/15
adm-CMA-ES Gissler 7.8 (3)10 (3)11 (3)11 (3)12 (2)14 (2)15 (2)15/15
c-CMA-ES Gissler 7.8 (3)10 (2)11 (1)12 (1)13 (1)14 (1)16 (1)15/15
cd-CMA-ES Gissler 8.9 (3)10 (3)11 (2)12 (2)13 (2)15 (1)16 (2)15/15
cdm-CMA-ES Gissler 8.3 (3)10 (3)11 (3)12 (2)13 (2)15 (3)16 (2)15/15
cma-bp-bbob Brockhoff 7.3 (3)9.4 (3)11 (2)12 (1)13 (2)14 (2)15 (2)15/15
cma-bt-bbob Brockhoff 7.3 (2)9.0 (1)10 (2)11 (2)12 (2)13 (2)14 (2)15/15
d-CMA-ES Gissler 8.0 (2)10 (2)11 (2)12 (1)13 (1)14 (1)16 (1)15/15
default-CMA-ES Gissler 7.8 (2)8.8 (2)10 (2)11 (2)12 (1)13 (2)15 (2)15/15
dm-CMA-ES Gissler 7.1 (2)8.8 (2)10 (2)11 (2)12 (2)14 (2)15 (2)15/15
m-SDWOA Espinoza 42 (6)55 (6)68 (7)82 (5)96 (4)119 (5)142 (5)15/15
s-CMA-ES Gissler 8.5 (3)10 (2)11 (2)12 (1)12 (1)14 (2)15 (1)15/15
sc-CMA-ES Gissler 9.4 (4)11 (3)13 (3)14 (3)15 (3)16 (2)17 (2)15/15
scd-CMA-ES Gissler 8.2 (4)11 (5)13 (5)14 (5)14 (5)16 (4)17 (4)15/15
scdm-CMA-ES Gissler 9.4 (3)11 (2)12 (1)13 (1)14 (1)15 (1)17 (1)15/15
sd-CMA-ES Gissler 8.3 (3)10 (3)11 (2)12 (2)13 (2)14 (2)15 (2)15/15
sdm-CMA-ES Gissler 7.2 (3)9.4 (3)11 (1)11 (2)12 (2)14 (2)15 (2)15/15

Δ fopt
f3, 5-D
1e1
716
1e0
1622
1e-1
1637
1e-2
1642
1e-3
1646
1e-5
1650
1e-7
1654
#succ
15/15
BIRMIN Kudela 1.3 (2)68 (74)138 (124)138 (112)150 (248)205 (181)205 (273)8/15
DIRECT-REV Kudela 2.2 (1)64 (95)233 (356)232 (291)232 (224)231 (303)230 (259)7/15
E-WOA Espinoza 35 (37)5e40/15
I-DBDP-GL Kudela 2.4 (1)8.2 (5)51 (79)51 (81)52 (82)55 (78)59 (76)13/15
WOA Espinoza 202 (227)5e40/15
a-CMA-ES Gissler 0.97 (1)45 (124)1899 (2785)1893 (2324)1889 (2814)1884 (2844)1880 (2134)3/15
ad-CMA-ES Gissler 1.1 (1)63 (87)1246 (2069)1243 (1430)1240 (1652)1238 (1667)1235 (1314)4/15
adm-CMA-ES Gissler 1.3 (1)44 (63)1363 (1599)1360 (1454)1357 (1594)1354 (1236)1351 (1133)4/15
c-CMA-ES Gissler 0.77 (0.3)34 (33)1337 (1451)1334 (2324)1332 (1387)1329 (1586)1327 (1870)4/15
cd-CMA-ES Gissler 1.4 (2)26 (39)383 (426)383 (1047)382 (437)382 (632)381 (522)8/15
cdm-CMA-ES Gissler 1.3 (2)10 (11)732 (951)730 (1299)729 (1570)728 (483)726 (986)6/15
cma-bp-bbob Brockhoff 0.99 (1)14 (17)96 (97)96 (91)96 (90)96 (145)129 (129)3/15
cma-bt-bbob Brockhoff 1.1 (1)15 (19)71 (102)71 (142)71 (78)72 (52)72 (51)5/15
d-CMA-ES Gissler 1.4 (2)47 (43)1154 (1489)1669 (2169)1665 (1342)1661 (1472)1658 (2249)3/15
default-CMA-ES Gissler 1.2 (1)5.5 (5)521 (655)520 (678)520 (672)519 (897)518 (894)7/15
dm-CMA-ES Gissler 1.4 (2)9.2 (11)257 (373)257 (375)256 (591)256 (410)256 (293)10/15
m-SDWOA Espinoza 5.7 (3)21 (6)34 (19)42 (20)54 (32)109 (115)147 (106)3/15
s-CMA-ES Gissler 1.5 (2)13 (9)318 (458)317 (463)317 (245)317 (462)317 (237)9/15
sc-CMA-ES Gissler 1.0 (1)8.0 (5)2055 (1996)2049 (2805)2044 (2155)2039 (1930)2035 (2023)3/15
scd-CMA-ES Gissler 2.1 (2)24 (39)1218 (1742)1215 (1661)1212 (1929)1210 (1626)1207 (1474)4/15
scdm-CMA-ES Gissler 1.7 (1)51 (69)1978 (1427)1974 (3843)1970 (1761)1966 (1941)1962 (1455)3/15
sd-CMA-ES Gissler 1.3 (1)15 (12)528 (1180)528 (681)527 (582)526 (555)526 (444)7/15
sdm-CMA-ES Gissler 1.2 (2)5.5 (5)754 (1851)980 (1492)978 (1095)976 (1474)974 (1147)5/15

Δ fopt
f4, 5-D
1e1
809
1e0
1633
1e-1
1688
1e-2
1758
1e-3
1817
1e-5
1886
1e-7
1903
#succ
15/15
BIRMIN Kudela 3.8 (6)137 (156)2212 (2999)2123 (1600)2055 (1617)1979 (2088)1962 (2430)1/15
DIRECT-REV Kudela 4.7 (11)82 (93)463 (484)444 (545)430 (415)414 (387)410 (429)4/15
E-WOA Espinoza 75 (102)447 (406)5e40/15
I-DBDP-GL Kudela 2.9 (2)20 (20)179 (194)173 (198)169 (201)167 (193)170 (197)8/15
WOA Espinoza 258 (290)5e40/15
a-CMA-ES Gissler 2.2 (3)8e50/15
ad-CMA-ES Gissler 1.7 (3)6e50/15
adm-CMA-ES Gissler 1.5 (1)7714 (9863)9e50/15
c-CMA-ES Gissler 1.5 (2)8e50/15
cd-CMA-ES Gissler 1.0 (1)6e50/15
cdm-CMA-ES Gissler 1.5 (1)7e50/15
cma-bp-bbob Brockhoff 1.9 (1)5e40/15
cma-bt-bbob Brockhoff 1.8 (3)5e40/15
d-CMA-ES Gissler 1.8 (1)6e50/15
default-CMA-ES Gissler 2.9 (3)8e50/15
dm-CMA-ES Gissler 1.4 (2)7e50/15
m-SDWOA Espinoza 8.4 (5)63 (32)220 (244)425 (377)412 (365)5e40/15
s-CMA-ES Gissler 2.0 (2)8e50/15
sc-CMA-ES Gissler 2.3 (3)8e50/15
scd-CMA-ES Gissler 2.1 (3)7e50/15
scdm-CMA-ES Gissler 1.8 (2)6627 (5914)7e50/15
sd-CMA-ES Gissler 2.0 (2)7e50/15
sdm-CMA-ES Gissler 1.5 (2)8e50/15

Δ fopt
f5, 5-D
1e1
10
1e0
10
1e-1
10
1e-2
10
1e-3
10
1e-5
10
1e-7
10
#succ
15/15
BIRMIN Kudela 7.2 (2)13 (2)16 (1)18 (1)18 (1)19 (1)1.6e5 (3e5)0/15
DIRECT-REV Kudela 9.2 (0)13 (0)16 (0)18 (0)18 (0)19 (0)3e50/15
E-WOA Espinoza 33 (16)61 (36)62 (36)64 (33)64 (33)64 (33)64 (33)15/15
I-DBDP-GL Kudela 31 (8)151 (12)367 (4)709 (49)1145 (29)2357 (90)3963 (11)15/15
WOA Espinoza 20 (9)388 (15)390 (15)391 (15)391 (15)391 (15)391 (15)14/15
a-CMA-ES Gissler 4.9 (2)6.7 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)15/15
ad-CMA-ES Gissler 4.6 (2)6.4 (3)6.8 (3)6.8 (3)6.8 (3)6.8 (3)6.8 (3)15/15
adm-CMA-ES Gissler 4.8 (2)6.9 (3)7.1 (3)7.1 (3)7.1 (3)7.1 (3)7.1 (3)15/15
c-CMA-ES Gissler 4.5 (1)6.3 (2)6.6 (2)6.6 (2)6.6 (2)6.6 (2)6.6 (2)15/15
cd-CMA-ES Gissler 4.9 (2)6.6 (3)6.8 (2)6.8 (2)6.8 (2)6.8 (2)6.8 (2)15/15
cdm-CMA-ES Gissler 4.6 (2)6.7 (4)6.8 (4)6.9 (3)6.9 (3)6.9 (3)6.9 (3)15/15
cma-bp-bbob Brockhoff 7.4 (4)24 (19)29 (21)30 (19)30 (19)30 (19)30 (19)15/15
cma-bt-bbob Brockhoff 12 (7)23 (9)32 (10)40 (10)47 (8)63 (10)78 (10)15/15
d-CMA-ES Gissler 4.9 (2)6.6 (2)6.8 (2)6.8 (3)6.8 (3)6.8 (3)6.8 (3)15/15
default-CMA-ES Gissler 4.5 (1)6.1 (2)6.2 (2)6.3 (2)6.3 (2)6.3 (2)6.3 (2)15/15
dm-CMA-ES Gissler 5.6 (3)7.0 (2)7.2 (2)7.2 (2)7.2 (2)7.2 (2)7.2 (2)15/15
m-SDWOA Espinoza 75 (53)213 (128)341 (173)468 (242)529 (327)677 (493)761 (688)15/15
s-CMA-ES Gissler 4.9 (2)7.0 (3)7.1 (3)7.1 (3)7.1 (3)7.1 (3)7.1 (3)15/15
sc-CMA-ES Gissler 4.8 (2)7.1 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)15/15
scd-CMA-ES Gissler 4.3 (2)6.5 (3)6.6 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)15/15
scdm-CMA-ES Gissler 5.1 (3)6.9 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)7.3 (4)15/15
sd-CMA-ES Gissler 5.0 (2)6.8 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)15/15
sdm-CMA-ES Gissler 5.2 (3)7.1 (4)7.4 (4)7.5 (4)7.5 (4)7.5 (4)7.5 (4)15/15

Δ fopt
f6, 5-D
1e1
114
1e0
214
1e-1
281
1e-2
404
1e-3
580
1e-5
1038
1e-7
1332
#succ
15/15
BIRMIN Kudela 1.4 (0.6)1.2 (0.6)1.2 (0.4)1.1 (0.4)0.89 (0.3)0.71 (0.2)↑00.71 (0.2)↑013/15
DIRECT-REV Kudela 1.1 (0.7)1.0 (0.3)1.1 (0.3)0.98 (0.3)0.85 (0.3)0.66 (0.1)↑00.72 (0.2)↑014/15
E-WOA Espinoza 25 (20)117 (105)323 (285)906 (862)5e40/15
I-DBDP-GL Kudela 3.6 (2)5.9 (2)10 (4)13 (4)16 (3)17 (3)22 (4)15/15
WOA Espinoza 87 (220)485 (468)2582 (2046)5e40/15
a-CMA-ES Gissler 1.7 (0.5)1.5 (0.3)1.7 (0.2)1.6 (0.2)1.4 (0.2)1.1 (0.1)1.1 (0.1)15/15
ad-CMA-ES Gissler 1.4 (0.7)1.6 (0.4)1.8 (0.3)1.6 (0.2)1.4 (0.2)1.1 (0.1)1.1 (0.1)15/15
adm-CMA-ES Gissler 1.6 (0.9)1.6 (0.5)1.7 (0.4)1.5 (0.3)1.3 (0.2)1.1 (0.2)1.1 (0.2)15/15
c-CMA-ES Gissler 1.6 (0.6)1.6 (0.5)1.9 (0.3)1.8 (0.3)1.5 (0.2)1.2 (0.1)1.2 (0.1)15/15
cd-CMA-ES Gissler 1.8 (0.6)1.7 (0.4)1.9 (0.5)1.7 (0.4)1.5 (0.3)1.2 (0.2)1.2 (0.1)15/15
cdm-CMA-ES Gissler 1.8 (0.6)1.8 (0.4)1.9 (0.6)1.7 (0.4)1.5 (0.3)1.2 (0.2)1.2 (0.2)15/15
cma-bp-bbob Brockhoff 1.5 (0.7)1.7 (0.5)1.9 (0.3)1.7 (0.2)1.5 (0.2)1.2 (0.1)1.2 (0.1)15/15
cma-bt-bbob Brockhoff 1.8 (0.7)1.8 (0.5)2.0 (0.4)1.8 (0.3)1.6 (0.3)1.2 (0.2)1.2 (0.1)15/15
d-CMA-ES Gissler 1.9 (0.7)1.8 (0.5)1.9 (0.5)1.8 (0.3)1.5 (0.2)1.2 (0.2)1.2 (0.1)15/15
default-CMA-ES Gissler 1.9 (0.8)1.8 (0.4)1.9 (0.3)1.8 (0.3)1.5 (0.2)1.2 (0.1)1.2 (0.1)15/15
dm-CMA-ES Gissler 1.8 (1)1.7 (0.6)1.9 (0.4)1.7 (0.2)1.6 (0.2)1.2 (0.1)1.2 (0.1)15/15
m-SDWOA Espinoza 12 (6)21 (5)25 (4)25 (3)23 (3)18 (3)19 (3)15/15
s-CMA-ES Gissler 1.8 (0.9)1.6 (0.3)1.8 (0.5)1.6 (0.3)1.4 (0.2)1.1 (0.1)1.1 (0.1)15/15
sc-CMA-ES Gissler 2.0 (0.9)1.9 (0.7)2.1 (0.6)1.9 (0.5)1.7 (0.3)1.3 (0.2)1.2 (0.2)15/15
scd-CMA-ES Gissler 1.7 (1)1.7 (0.9)1.9 (0.6)1.8 (0.5)1.5 (0.4)1.2 (0.3)1.2 (0.2)15/15
scdm-CMA-ES Gissler 1.4 (0.5)1.5 (0.4)1.7 (0.3)1.5 (0.2)1.4 (0.2)1.1 (0.2)1.1 (0.2)15/15
sd-CMA-ES Gissler 1.7 (0.3)1.7 (0.5)1.8 (0.3)1.7 (0.5)1.5 (0.2)1.2 (0.2)1.2 (0.1)15/15
sdm-CMA-ES Gissler 1.6 (0.5)1.7 (0.5)1.7 (0.4)1.7 (0.3)1.4 (0.2)1.1 (0.1)1.1 (0.1)15/15

Δ fopt
f7, 5-D
1e1
24
1e0
324
1e-1
1171
1e-2
1451
1e-3
1572
1e-5
1572
1e-7
1597
#succ
15/15
BIRMIN Kudela 4.0 (2)2.6 (2)3.8 (3)7.0 (6)10 (7)10 (7)13 (12)15/15
DIRECT-REV Kudela 4.2 (3)1.9 (1)2.9 (3)17 (35)20 (32)20 (32)27 (38)15/15
E-WOA Espinoza 31 (23)103 (164)139 (121)5e40/15
I-DBDP-GL Kudela 4.7 (2)2.9 (1)1.9 (1)2.8 (1.0)3.3 (2)3.3 (2)3.6 (2)15/15
WOA Espinoza 181 (93)619 (772)5e40/15
a-CMA-ES Gissler 2.4 (2)0.81 (0.3)0.54 (0.3)↑10.55 (0.3)↑10.55 (0.3)↑10.55 (0.3)↑10.57 (0.3)↑115/15
ad-CMA-ES Gissler 3.2 (2)0.88 (0.8)0.46 (0.4)↑00.52 (0.3)↑00.50 (0.3)↑00.50 (0.3)↑00.55 (0.3)↑015/15
adm-CMA-ES Gissler 2.9 (2)1.2 (1.0)0.43 (0.3)↑00.47 (0.3)↑00.47 (0.3)↑00.47 (0.3)↑00.48 (0.3)↑015/15
c-CMA-ES Gissler 2.2 (2)0.82 (0.9)0.59 (0.4)↑10.58 (0.3)↑10.59 (0.3)↑10.59 (0.3)↑10.65 (0.4)15/15
cd-CMA-ES Gissler 3.2 (2)1.1 (2)0.82 (0.8)0.81 (0.7)0.77 (0.7)0.77 (0.7)0.80 (0.7)15/15
cdm-CMA-ES Gissler 3.6 (2)0.84 (0.4)0.58 (0.4)↑10.55 (0.3)↑10.59 (0.3)↑10.59 (0.3)↑10.62 (0.3)↑115/15
cma-bp-bbob Brockhoff 3.3 (2)1.2 (1)0.70 (0.4)0.74 (0.3)0.76 (0.5)0.76 (0.5)0.85 (0.6)15/15
cma-bt-bbob Brockhoff 3.9 (2)1.0 (1)0.91 (0.8)0.83 (0.7)0.90 (0.7)0.90 (0.7)0.97 (0.7)15/15
d-CMA-ES Gissler 4.0 (2)1.0 (1)0.58 (0.4)0.55 (0.3)↑00.54 (0.3)↑00.54 (0.3)↑00.56 (0.3)↑015/15
default-CMA-ES Gissler 2.7 (2)1.1 (1.0)0.78 (0.7)0.71 (0.5)0.72 (0.6)0.72 (0.6)0.75 (0.5)15/15
dm-CMA-ES Gissler 3.0 (2)0.84 (0.9)0.56 (0.3)↑00.55 (0.3)↑00.57 (0.3)↑00.57 (0.3)↑00.59 (0.3)↑015/15
m-SDWOA Espinoza 13 (7)4.7 (2)2.8 (0.4)3.6 (0.4)3.6 (0.5)3.6 (0.5)4.0 (0.4)15/15
s-CMA-ES Gissler 2.2 (1)1.2 (1)0.71 (0.7)0.72 (0.6)0.71 (0.5)0.71 (0.5)0.73 (0.5)15/15
sc-CMA-ES Gissler 2.6 (2)1.1 (0.9)0.67 (0.5)0.65 (0.5)0.63 (0.4)0.63 (0.4)0.65 (0.4)15/15
scd-CMA-ES Gissler 3.1 (2)0.85 (0.8)0.65 (0.6)0.69 (0.5)0.71 (0.5)0.71 (0.5)0.81 (0.5)15/15
scdm-CMA-ES Gissler 3.6 (1)0.72 (0.3)↑10.53 (0.4)↑00.51 (0.3)↑00.52 (0.3)↑00.52 (0.3)↑00.54 (0.3)↑015/15
sd-CMA-ES Gissler 3.1 (2)0.95 (0.8)0.58 (0.6)0.63 (0.5)0.60 (0.5)0.60 (0.5)0.66 (0.5)15/15
sdm-CMA-ES Gissler 3.7 (2)0.98 (0.9)0.51 (0.4)↑10.57 (0.3)↑00.57 (0.3)↑00.57 (0.3)↑00.58 (0.3)↑015/15

Δ fopt
f8, 5-D
1e1
73
1e0
273
1e-1
336
1e-2
372
1e-3
391
1e-5
410
1e-7
422
#succ
15/15
BIRMIN Kudela 1.1 (0.6)1.2 (1)1.1 (1)1.1 (1.0)1.1 (1.0)1.0 (0.9)1.0 (0.9)15/15
DIRECT-REV Kudela 0.78 (0.4)0.82 (0.3)0.83 (0.2)0.82 (0.2)↑10.82 (0.2)↑10.82 (0.2)↑10.82 (0.2)↑115/15
E-WOA Espinoza 48 (55)95 (115)94 (75)96 (81)98 (70)111 (89)115 (87)11/15
I-DBDP-GL Kudela 11 (3)10 (4)21 (6)32 (9)41 (14)61 (17)95 (23)15/15
WOA Espinoza 76 (35)517 (732)5e40/15
a-CMA-ES Gissler 2.4 (0.4)3.5 (4)4.0 (3)4.1 (3)4.2 (3)4.4 (3)4.7 (3)15/15
ad-CMA-ES Gissler 2.8 (0.7)4.6 (4)4.9 (3)4.9 (3)5.0 (3)5.2 (3)5.5 (3)15/15
adm-CMA-ES Gissler 2.5 (0.7)3.6 (5)4.0 (4)4.1 (4)4.2 (3)4.4 (3)4.7 (3)15/15
c-CMA-ES Gissler 2.4 (1.0)4.2 (1)4.7 (1)5.0 (1)5.1 (0.9)5.4 (0.9)5.5 (0.9)15/15
cd-CMA-ES Gissler 2.8 (0.8)4.7 (5)5.2 (4)5.4 (4)5.6 (4)5.8 (4)6.1 (4)15/15
cdm-CMA-ES Gissler 2.4 (0.5)2.8 (0.9)3.8 (0.9)4.1 (0.8)4.2 (0.7)4.5 (0.8)4.8 (0.7)15/15
cma-bp-bbob Brockhoff 2.4 (0.8)3.5 (1)3.9 (1)4.1 (1)4.2 (1)4.5 (1)4.7 (1.0)15/15
cma-bt-bbob Brockhoff 3.0 (1)4.2 (4)4.5 (3)4.6 (3)4.8 (3)5.0 (3)5.2 (3)15/15
d-CMA-ES Gissler 2.8 (0.8)5.3 (11)5.6 (9)5.6 (9)5.7 (8)5.9 (8)6.2 (8)15/15
default-CMA-ES Gissler 2.3 (0.7)3.3 (1)4.0 (1)4.1 (1)4.2 (1)4.4 (1)4.7 (0.9)15/15
dm-CMA-ES Gissler 2.7 (0.8)3.9 (4)4.4 (3)4.5 (3)4.6 (3)4.8 (3)5.1 (3)15/15
m-SDWOA Espinoza 28 (7)47 (47)336 (577)568 (605)551 (510)839 (1277)822 (914)2/15
s-CMA-ES Gissler 2.5 (1)3.8 (4)4.2 (4)4.2 (4)4.3 (3)4.6 (3)4.8 (3)15/15
sc-CMA-ES Gissler 2.5 (1)3.3 (1)4.2 (0.9)4.4 (1.0)4.6 (0.9)4.8 (0.9)5.1 (0.9)15/15
scd-CMA-ES Gissler 2.5 (0.9)3.0 (2)3.9 (2)4.2 (2)4.3 (2)4.6 (2)4.8 (1)15/15
scdm-CMA-ES Gissler 2.7 (0.7)3.5 (1)4.4 (1)4.7 (1)4.8 (1)5.0 (1)5.3 (1)15/15
sd-CMA-ES Gissler 2.3 (0.5)3.2 (1)3.8 (1.0)3.9 (0.9)4.0 (0.9)4.2 (0.9)4.5 (0.9)15/15
sdm-CMA-ES Gissler 2.6 (1)4.4 (5)4.7 (4)4.8 (4)4.8 (4)5.0 (3)5.3 (4)15/15

Δ fopt
f9, 5-D
1e1
35
1e0
127
1e-1
214
1e-2
263
1e-3
300
1e-5
335
1e-7
369
#succ
15/15
BIRMIN Kudela 2.7 (0.9)7.4 (1.0)10 (0.5)11 (0.5)26 (0.4)54 (0.4)49 (0.3)14/15
DIRECT-REV Kudela 2.8 (0.8)1.3 (0.3)1.0 (0.2)0.94 (0.2)↑10.86 (0.1)↑10.82 (0.1)↑10.77 (0.1)↑115/15
E-WOA Espinoza 52 (22)73 (91)1654 (1828)5e40/15
I-DBDP-GL Kudela 27 (7)37 (11)49 (13)57 (16)72 (41)114 (44)143 (70)15/15
WOA Espinoza 54 (54)1098 (1379)3304 (3855)5e40/15
a-CMA-ES Gissler 4.2 (2)6.5 (4)5.5 (2)5.1 (2)4.8 (2)4.9 (2)4.8 (2)15/15
ad-CMA-ES Gissler 4.7 (1)7.5 (9)6.2 (6)5.7 (5)5.4 (4)5.4 (4)5.4 (4)15/15
adm-CMA-ES Gissler 4.6 (2)5.2 (3)4.7 (2)4.5 (1)4.3 (1)4.3 (1)4.4 (1.0)15/15
c-CMA-ES Gissler 5.2 (2)6.8 (4)6.3 (2)6.1 (2)5.8 (2)5.7 (1)5.7 (1)15/15
cd-CMA-ES Gissler 5.0 (1.0)8.5 (10)7.3 (7)6.9 (6)6.6 (5)6.5 (5)6.4 (4)15/15
cdm-CMA-ES Gissler 5.2 (2)7.5 (3)6.7 (2)6.5 (2)6.2 (2)6.1 (2)6.1 (1)15/15
cma-bp-bbob Brockhoff 3.9 (2)6.4 (2)5.7 (1)5.2 (1)4.9 (0.9)5.0 (0.7)4.9 (0.6)15/15
cma-bt-bbob Brockhoff 4.6 (2)5.0 (1)4.7 (0.7)4.6 (0.6)4.4 (0.6)4.5 (0.6)4.5 (0.5)15/15
d-CMA-ES Gissler 5.2 (1)6.9 (3)5.9 (2)5.6 (2)5.3 (1)5.3 (1)5.2 (1)15/15
default-CMA-ES Gissler 4.2 (0.8)7.8 (8)6.5 (5)6.0 (4)5.6 (4)5.6 (3)5.5 (3)15/15
dm-CMA-ES Gissler 4.4 (1)6.1 (4)5.5 (2)5.3 (2)5.0 (1)5.1 (1)5.1 (1)15/15
m-SDWOA Espinoza 41 (8)28 (7)48 (5)68 (95)86 (87)103 (126)102 (104)11/15
s-CMA-ES Gissler 4.6 (2)7.9 (3)6.5 (2)6.0 (2)5.7 (2)5.6 (1)5.5 (1)15/15
sc-CMA-ES Gissler 4.2 (2)6.7 (3)6.5 (2)6.3 (2)6.0 (2)6.0 (2)5.9 (2)15/15
scd-CMA-ES Gissler 4.5 (2)7.5 (3)6.8 (1)6.5 (1)6.1 (1)6.1 (1)6.0 (0.9)15/15
scdm-CMA-ES Gissler 4.7 (2)6.9 (5)6.1 (4)6.0 (3)5.7 (3)5.7 (2)5.6 (2)15/15
sd-CMA-ES Gissler 4.7 (1)8.1 (8)6.8 (5)6.3 (4)5.9 (4)5.8 (3)5.6 (3)15/15
sdm-CMA-ES Gissler 4.3 (2)9.3 (10)7.3 (6)6.8 (5)6.3 (4)6.2 (4)6.1 (4)15/15

Δ fopt
f10, 5-D
1e1
349
1e0
500
1e-1
574
1e-2
607
1e-3
626
1e-5
829
1e-7
880
#succ
15/15
BIRMIN Kudela 0.33 (0.1)↑00.34 (0.1)↑00.34 (0.1)↑00.35 (0.1)↑00.40 (0.1)↑0151 (226)3978 (4617)0/15
DIRECT-REV Kudela 0.36 (0.2)↑00.37 (0.1)↑00.38 (0.2)↑00.40 (0.2)↑00.42 (0.2)↑0110 (226)1137 (1634)1/15
E-WOA Espinoza 629 (628)1441 (1575)1262 (1807)1195 (947)1167 (1498)894 (844)847 (682)1/15
I-DBDP-GL Kudela 86 (74)131 (80)300 (330)833 (1065)1384 (906)3e50/15
WOA Espinoza 5e40/15
a-CMA-ES Gissler 1.8 (0.4)1.5 (0.3)1.5 (0.2)1.6 (0.2)1.7 (0.2)1.4 (0.1)1.5 (0.1)15/15
ad-CMA-ES Gissler 1.9 (0.4)1.5 (0.3)1.5 (0.3)1.6 (0.2)1.7 (0.2)1.5 (0.1)1.6 (0.1)15/15
adm-CMA-ES Gissler 1.8 (0.6)1.5 (0.5)1.5 (0.4)1.6 (0.3)1.7 (0.2)1.5 (0.2)1.6 (0.2)15/15
c-CMA-ES Gissler 2.0 (0.7)1.8 (0.4)1.8 (0.3)1.8 (0.3)1.9 (0.3)1.6 (0.2)1.7 (0.2)15/15
cd-CMA-ES Gissler 1.9 (0.6)1.7 (0.4)1.7 (0.3)1.8 (0.2)1.9 (0.2)1.6 (0.2)1.7 (0.2)15/15
cdm-CMA-ES Gissler 2.1 (0.6)1.8 (0.4)1.8 (0.3)1.8 (0.3)1.9 (0.3)1.7 (0.2)1.8 (0.2)15/15
cma-bp-bbob Brockhoff 1.7 (0.5)1.7 (0.4)1.7 (0.2)1.7 (0.2)1.8 (0.2)1.5 (0.2)1.6 (0.2)15/15
cma-bt-bbob Brockhoff 3.1 (2)3.1 (3)2.8 (2)2.8 (2)2.9 (2)2.3 (2)2.4 (1)15/15
d-CMA-ES Gissler 1.8 (0.5)1.6 (0.4)1.6 (0.3)1.7 (0.3)1.7 (0.2)1.5 (0.2)1.6 (0.2)15/15
default-CMA-ES Gissler 1.9 (0.6)1.6 (0.4)1.6 (0.4)1.7 (0.3)1.7 (0.3)1.5 (0.2)1.6 (0.2)15/15
dm-CMA-ES Gissler 1.9 (0.5)1.6 (0.3)1.6 (0.2)1.6 (0.1)1.7 (0.1)1.5 (0.1)1.6 (0.1)15/15
m-SDWOA Espinoza 13 (2)12 (2)13 (1)15 (2)17 (2)16 (0.9)19 (1.0)15/15
s-CMA-ES Gissler 1.9 (0.7)1.6 (0.4)1.6 (0.3)1.7 (0.3)1.7 (0.3)1.5 (0.1)1.6 (0.2)15/15
sc-CMA-ES Gissler 1.9 (0.5)2.0 (0.5)2.0 (0.5)2.0 (0.5)2.1 (0.4)1.7 (0.3)1.8 (0.3)15/15
scd-CMA-ES Gissler 2.3 (0.6)2.1 (0.4)1.9 (0.4)2.0 (0.3)2.0 (0.2)1.8 (0.2)1.8 (0.2)15/15
scdm-CMA-ES Gissler 2.1 (1.0)1.8 (0.5)1.8 (0.3)1.9 (0.3)2.0 (0.3)1.7 (0.2)1.8 (0.2)15/15
sd-CMA-ES Gissler 1.6 (0.5)1.6 (0.4)1.6 (0.3)1.7 (0.2)1.8 (0.2)1.5 (0.2)1.6 (0.2)15/15
sdm-CMA-ES Gissler 1.9 (0.8)1.6 (0.6)1.6 (0.4)1.7 (0.3)1.8 (0.3)1.5 (0.2)1.7 (0.3)15/15

Δ fopt
f11, 5-D
1e1
143
1e0
202
1e-1
763
1e-2
977
1e-3
1177
1e-5
1467
1e-7
1673
#succ
15/15
BIRMIN Kudela 0.58 (0.2)↑00.52 (0.2)↑00.21 (0.1)↑00.21 (0.1)↑054 (106)469 (724)3e50/15
DIRECT-REV Kudela 0.51 (0.2)↑00.56 (0.2)↑00.20 (0.1)↑00.21 (0.0)↑00.31 (0.3)↑0682 (895)3e50/15
E-WOA Espinoza 118 (143)780 (730)5e40/15
I-DBDP-GL Kudela 61 (51)129 (67)62 (29)88 (34)106 (33)161 (99)417 (344)3/15
WOA Espinoza 1449 (1968)5e40/15
a-CMA-ES Gissler 3.9 (0.8)3.3 (0.5)1.0 (0.1)0.87 (0.1)↑10.79 (0.1)↑00.75 (0.1)↑00.75 (0.1)↑015/15
ad-CMA-ES Gissler 3.6 (0.9)3.2 (0.5)0.97 (0.1)0.84 (0.1)↑10.77 (0.1)↑00.72 (0.1)↑00.74 (0.1)↑015/15
adm-CMA-ES Gissler 3.4 (0.9)3.0 (0.6)0.94 (0.1)0.82 (0.1)↑10.74 (0.1)↑00.70 (0.1)↑00.72 (0.1)↑015/15
c-CMA-ES Gissler 3.7 (1.0)3.2 (0.8)0.97 (0.2)0.87 (0.1)↑10.79 (0.1)↑00.74 (0.1)↑00.73 (0.1)↑015/15
cd-CMA-ES Gissler 3.8 (0.9)3.4 (0.8)1.0 (0.2)0.90 (0.2)0.83 (0.1)↑00.77 (0.1)↑00.78 (0.1)↑015/15
cdm-CMA-ES Gissler 4.0 (1)3.5 (0.6)1.0 (0.2)0.89 (0.1)0.82 (0.1)↑10.77 (0.1)↑00.78 (0.1)↑015/15
cma-bp-bbob Brockhoff 3.5 (1)3.3 (1)1.0 (0.2)0.89 (0.2)0.80 (0.1)↑00.75 (0.1)↑00.75 (0.1)↑015/15
cma-bt-bbob Brockhoff 5.4 (4)4.5 (3)1.3 (0.8)1.1 (0.6)0.99 (0.5)0.90 (0.4)0.89 (0.3)15/15
d-CMA-ES Gissler 3.5 (1)3.2 (0.5)0.98 (0.1)0.83 (0.1)↑00.77 (0.1)↑00.73 (0.1)↑00.74 (0.1)↑015/15
default-CMA-ES Gissler 3.4 (1)3.1 (0.5)0.96 (0.1)0.83 (0.1)↑00.76 (0.1)↑00.71 (0.1)↑00.71 (0.1)↑015/15
dm-CMA-ES Gissler 3.5 (0.7)3.2 (0.5)0.99 (0.1)0.85 (0.1)↑10.78 (0.1)↑00.74 (0.1)↑00.75 (0.1)↑015/15
m-SDWOA Espinoza 13 (5)17 (4)6.5 (1.0)6.6 (0.7)6.9 (0.6)7.5 (0.4)8.5 (0.5)15/15
s-CMA-ES Gissler 3.9 (1)3.4 (0.9)1.0 (0.3)0.89 (0.2)0.80 (0.1)↑10.73 (0.1)↑00.73 (0.1)↑015/15
sc-CMA-ES Gissler 4.1 (1)3.5 (0.9)1.1 (0.3)0.93 (0.2)0.84 (0.2)0.77 (0.2)↑10.76 (0.1)↑115/15
scd-CMA-ES Gissler 4.1 (0.6)3.4 (0.3)1.0 (0.1)0.89 (0.1)↑00.81 (0.1)↑00.76 (0.1)↑00.78 (0.1)↑015/15
scdm-CMA-ES Gissler 4.4 (2)4.0 (1)1.2 (0.3)0.99 (0.2)0.89 (0.2)0.83 (0.2)0.84 (0.1)↑115/15
sd-CMA-ES Gissler 3.7 (0.9)3.2 (0.6)0.99 (0.2)0.86 (0.1)0.79 (0.1)↑00.75 (0.1)↑00.74 (0.1)↑015/15
sdm-CMA-ES Gissler 3.5 (0.8)3.1 (0.5)0.94 (0.2)0.81 (0.1)↑10.75 (0.1)↑00.71 (0.1)↑00.71 (0.1)↑015/15

Δ fopt
f12, 5-D
1e1
108
1e0
268
1e-1
371
1e-2
413
1e-3
461
1e-5
1303
1e-7
1494
#succ
15/15
BIRMIN Kudela 1.1 (0.6)0.74 (0.3)0.85 (0.5)0.95 (0.6)0.98 (0.6)168 (288)1088 (837)2/15
DIRECT-REV Kudela 1.1 (0.6)0.98 (1)1.1 (1)1.2 (1)1.2 (1)288 (336)1089 (1464)1/15
E-WOA Espinoza 248 (265)316 (288)571 (571)1730 (1967)1555 (1356)5e40/15
I-DBDP-GL Kudela 45 (14)32 (14)56 (39)95 (101)174 (116)123 (44)186 (153)9/15
WOA Espinoza 1990 (1484)5e40/15
a-CMA-ES Gissler 4.9 (2)3.4 (2)3.9 (3)4.3 (3)4.5 (2)2.1 (1)2.2 (1)15/15
ad-CMA-ES Gissler 6.6 (7)5.2 (7)5.2 (6)5.6 (5)5.8 (5)2.7 (2)2.7 (2)15/15
adm-CMA-ES Gissler 8.1 (5)5.4 (5)5.5 (5)5.9 (5)6.0 (4)2.7 (2)2.7 (2)15/15
c-CMA-ES Gissler 4.8 (0.6)6.5 (5)7.3 (6)7.7 (6)7.7 (6)3.4 (3)3.4 (3)15/15
cd-CMA-ES Gissler 5.8 (3)6.7 (6)7.9 (8)8.7 (7)8.8 (7)4.0 (3)4.1 (3)15/15
cdm-CMA-ES Gissler 7.1 (5)5.4 (7)5.8 (8)6.5 (8)6.6 (7)3.1 (3)3.6 (2)15/15
cma-bp-bbob Brockhoff 4.6 (0.7)3.9 (4)4.3 (4)4.9 (4)5.5 (4)2.7 (2)2.9 (2)15/15
cma-bt-bbob Brockhoff 7.6 (5)5.4 (7)5.6 (5)6.0 (4)6.2 (4)2.8 (2)2.8 (2)15/15
d-CMA-ES Gissler 8.8 (9)7.3 (7)7.2 (6)7.2 (6)7.2 (6)3.2 (2)3.2 (2)15/15
default-CMA-ES Gissler 7.4 (10)6.7 (9)7.2 (9)7.6 (9)7.6 (8)3.4 (3)3.4 (3)15/15
dm-CMA-ES Gissler 6.2 (4)5.0 (3)6.0 (2)6.5 (3)6.6 (3)3.0 (2)3.0 (2)15/15
m-SDWOA Espinoza 69 (12)41 (12)59 (68)98 (98)131 (169)60 (39)67 (59)5/15
s-CMA-ES Gissler 8.8 (9)6.7 (8)7.0 (7)7.1 (6)7.2 (6)3.2 (2)3.2 (2)15/15
sc-CMA-ES Gissler 6.7 (4)5.6 (6)7.3 (6)7.7 (6)7.7 (5)3.4 (3)3.4 (3)15/15
scd-CMA-ES Gissler 11 (13)9.3 (10)11 (9)11 (9)11 (8)4.7 (3)4.6 (3)15/15
scdm-CMA-ES Gissler 7.5 (5)7.0 (6)7.6 (6)8.1 (7)8.4 (6)3.9 (3)4.0 (3)15/15
sd-CMA-ES Gissler 6.2 (3)6.0 (4)6.5 (6)6.7 (7)6.6 (7)2.8 (3)2.8 (3)15/15
sdm-CMA-ES Gissler 10 (9)7.8 (10)7.8 (10)8.1 (10)8.1 (9)3.6 (4)3.5 (4)15/15

Δ fopt
f13, 5-D
1e1
132
1e0
195
1e-1
250
1e-2
319
1e-3
1310
1e-5
1752
1e-7
2255
#succ
15/15
BIRMIN Kudela 0.84 (0.3)0.86 (0.2)0.82 (0.1)↑10.77 (0.1)↑096 (191)3e50/15
DIRECT-REV Kudela 0.86 (0.4)0.84 (0.2)0.88 (0.1)↑10.82 (0.1)↑1130 (149)3e50/15
E-WOA Espinoza 369 (571)1071 (1025)2854 (3350)2243 (2586)551 (573)5e40/15
I-DBDP-GL Kudela 14 (5)28 (14)52 (21)86 (33)39 (19)81 (38)815 (860)0/15
WOA Espinoza 1126 (1175)5e40/15
a-CMA-ES Gissler 2.3 (0.7)3.3 (1)3.4 (1)3.2 (0.6)0.93 (0.1)1.00 (0.1)0.93 (0.1)15/15
ad-CMA-ES Gissler 2.3 (0.3)3.0 (1)3.3 (0.8)3.4 (0.8)0.97 (0.2)0.96 (0.1)0.92 (0.1)15/15
adm-CMA-ES Gissler 2.8 (0.8)3.3 (1)3.4 (1)3.3 (0.8)0.96 (0.2)0.98 (0.2)0.95 (0.1)15/15
c-CMA-ES Gissler 2.4 (1)3.1 (1)4.2 (1)4.1 (0.5)1.2 (0.2)1.2 (0.2)1.2 (0.2)15/15
cd-CMA-ES Gissler 2.6 (0.5)3.4 (1)4.0 (1)4.0 (0.6)1.2 (0.1)1.2 (0.2)1.2 (0.1)15/15
cdm-CMA-ES Gissler 2.7 (0.8)3.4 (1)3.9 (1)4.0 (0.8)1.1 (0.2)1.2 (0.1)1.2 (0.1)15/15
cma-bp-bbob Brockhoff 2.4 (0.5)3.9 (1)4.1 (1)3.9 (1.0)1.1 (0.2)1.1 (0.2)1.1 (0.1)15/15
cma-bt-bbob Brockhoff 2.8 (1)3.7 (1)4.0 (1)3.8 (0.7)1.1 (0.2)1.1 (0.2)1.0 (0.2)15/15
d-CMA-ES Gissler 2.8 (0.8)3.1 (0.6)3.1 (0.5)3.0 (0.4)0.89 (0.1)0.97 (0.2)0.96 (0.1)15/15
default-CMA-ES Gissler 2.4 (0.6)2.9 (0.9)3.2 (0.9)3.2 (0.6)0.94 (0.1)0.98 (0.2)0.96 (0.1)15/15
dm-CMA-ES Gissler 2.5 (0.8)2.9 (1)3.3 (0.7)3.2 (0.6)0.97 (0.2)0.95 (0.1)0.95 (0.1)15/15
m-SDWOA Espinoza 25 (2)30 (2)35 (1)36 (2)11 (0.4)11 (0.3)11 (0.4)15/15
s-CMA-ES Gissler 2.5 (0.9)3.0 (1)3.4 (0.6)3.2 (0.7)0.98 (0.2)1.0 (0.2)0.95 (0.1)15/15
sc-CMA-ES Gissler 2.5 (2)3.8 (2)4.7 (2)4.6 (2)1.3 (0.5)1.3 (0.3)1.3 (0.3)15/15
scd-CMA-ES Gissler 3.0 (1)4.0 (2)4.5 (1)4.2 (0.9)1.2 (0.2)1.3 (0.3)1.2 (0.2)15/15
scdm-CMA-ES Gissler 2.6 (1)2.9 (2)3.9 (2)4.3 (1)1.3 (0.3)1.2 (0.2)1.2 (0.3)15/15
sd-CMA-ES Gissler 2.8 (1)2.9 (0.6)3.5 (0.9)3.5 (0.9)0.96 (0.2)1.0 (0.2)0.96 (0.1)15/15
sdm-CMA-ES Gissler 2.7 (2)3.1 (1)3.5 (0.9)3.4 (0.6)0.96 (0.2)0.93 (0.2)0.98 (0.1)15/15

Δ fopt
f14, 5-D
1e1
10
1e0
41
1e-1
58
1e-2
90
1e-3
139
1e-5
251
1e-7
476
#succ
15/15
BIRMIN Kudela 0.93 (1)2.0 (1)3.4 (1)11 (0.9)130 (0.7)73 (0.4)3e50/15
DIRECT-REV Kudela 1.7 (3)3.0 (1)2.8 (0.9)2.6 (0.8)2.2 (0.4)1.5 (0.2)2102 (4333)0/15
E-WOA Espinoza 2.2 (3)19 (15)43 (18)83 (51)234 (209)2898 (2789)5e40/15
I-DBDP-GL Kudela 0.71 (1)4.1 (3)11 (3)20 (8)37 (10)191 (132)3868 (3001)0/15
WOA Espinoza 2.2 (3)12 (7)102 (67)1584 (1668)5079 (7734)5e40/15
a-CMA-ES Gissler 0.63 (0.6)2.0 (0.8)3.2 (0.9)3.3 (0.7)3.3 (0.6)3.2 (0.4)2.4 (0.2)15/15
ad-CMA-ES Gissler 0.66 (0.8)1.9 (0.6)3.1 (0.9)3.6 (0.6)3.4 (0.5)3.3 (0.3)2.5 (0.3)15/15
adm-CMA-ES Gissler 0.73 (0.8)2.2 (1)3.4 (1)3.7 (0.9)3.5 (0.6)3.4 (0.5)2.5 (0.2)15/15
c-CMA-ES Gissler 0.66 (0.9)1.9 (0.7)2.9 (0.6)3.1 (1)3.3 (0.4)3.6 (0.5)2.7 (0.3)15/15
cd-CMA-ES Gissler 0.92 (1)2.2 (2)3.3 (1)3.7 (0.5)3.3 (0.6)3.4 (0.3)2.7 (0.3)15/15
cdm-CMA-ES Gissler 1.1 (2)2.0 (1)3.2 (0.8)3.6 (0.8)3.5 (0.7)3.6 (0.5)2.9 (0.3)15/15
cma-bp-bbob Brockhoff 0.84 (0.8)2.2 (0.8)3.4 (1)3.6 (0.8)3.3 (0.6)3.2 (0.5)2.5 (0.4)15/15
cma-bt-bbob Brockhoff 0.87 (1)2.4 (1)3.7 (1)3.5 (1)3.4 (0.8)3.4 (0.5)2.5 (0.2)15/15
d-CMA-ES Gissler 0.79 (0.9)1.8 (1)3.5 (1)3.9 (0.8)3.7 (0.5)3.5 (0.5)2.5 (0.2)15/15
default-CMA-ES Gissler 0.66 (0.7)1.8 (0.8)2.8 (0.6)3.2 (0.5)3.2 (0.6)3.1 (0.4)2.4 (0.2)15/15
dm-CMA-ES Gissler 0.61 (0.6)1.9 (0.7)3.3 (0.6)3.7 (0.5)3.7 (0.7)3.3 (0.6)2.5 (0.2)15/15
m-SDWOA Espinoza 2.2 (3)18 (5)34 (5)36 (8)37 (4)35 (2)27 (1)15/15
s-CMA-ES Gissler 0.67 (1)1.9 (1.0)3.1 (0.9)3.4 (1)3.3 (0.7)3.3 (0.5)2.4 (0.4)15/15
sc-CMA-ES Gissler 0.60 (0.6)2.4 (2)3.2 (2)3.6 (2)3.4 (1)3.5 (0.9)2.7 (0.5)15/15
scd-CMA-ES Gissler 0.93 (0.8)2.2 (1.0)3.4 (1)3.3 (0.8)3.5 (0.7)3.6 (0.9)2.8 (0.5)15/15
scdm-CMA-ES Gissler 0.97 (0.8)2.3 (0.7)3.3 (0.8)3.5 (0.7)3.5 (0.5)3.3 (0.7)2.7 (0.4)15/15
sd-CMA-ES Gissler 0.90 (2)1.9 (1)2.9 (1)3.3 (1)3.4 (0.8)3.4 (0.5)2.5 (0.3)15/15
sdm-CMA-ES Gissler 0.85 (1)2.2 (0.8)3.3 (0.7)3.6 (0.8)3.4 (0.5)3.1 (0.4)2.4 (0.2)15/15

Δ fopt
f15, 5-D
1e1
511
1e0
9310
1e-1
19369
1e-2
19743
1e-3
20073
1e-5
20769
1e-7
21359
#succ
14/15
BIRMIN Kudela 4.0 (5)6.4 (5)24 (28)23 (15)24 (29)29 (39)28 (42)5/15
DIRECT-REV Kudela 1.3 (1)9.2 (10)58 (55)57 (68)56 (73)54 (74)53 (50)3/15
E-WOA Espinoza 213 (317)5e40/15
I-DBDP-GL Kudela 3.3 (2)1.7 (0.9)3.2 (4)3.2 (3)3.3 (3)3.4 (3)3.6 (3)15/15
WOA Espinoza 281 (278)5e40/15
a-CMA-ES Gissler 1.3 (2)0.91 (0.9)0.80 (0.2)↑10.80 (0.2)0.81 (0.2)0.81 (0.2)0.82 (0.2)15/15
ad-CMA-ES Gissler 1.4 (2)0.76 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
adm-CMA-ES Gissler 1.6 (2)1.1 (0.8)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.2 (0.6)15/15
c-CMA-ES Gissler 1.8 (2)0.97 (0.9)0.92 (0.5)0.92 (0.5)0.93 (0.5)0.93 (0.5)0.94 (0.5)15/15
cd-CMA-ES Gissler 1.6 (2)1.0 (0.5)1.00 (0.5)1.00 (0.5)1.0 (0.5)1.0 (0.5)1.0 (0.5)15/15
cdm-CMA-ES Gissler 1.2 (0.4)1.1 (0.9)1.2 (0.7)1.2 (0.7)1.2 (0.7)1.2 (0.7)1.2 (0.7)15/15
cma-bp-bbob Brockhoff 1.0 (0.5)1.4 (2)0.92 (0.8)0.92 (0.8)0.93 (0.8)0.93 (0.8)0.94 (0.8)15/15
cma-bt-bbob Brockhoff 1.7 (2)1.8 (2)2.0 (2)2.0 (2)2.0 (1)2.0 (1)2.0 (2)11/15
d-CMA-ES Gissler 1.9 (2)1.0 (0.5)1.0 (0.7)1.0 (0.7)1.0 (0.7)1.0 (0.7)1.0 (0.7)15/15
default-CMA-ES Gissler 1.8 (2)1.1 (1.0)0.94 (0.8)0.95 (0.8)0.95 (0.7)0.95 (0.7)0.96 (0.7)15/15
dm-CMA-ES Gissler 2.1 (2)1.0 (0.7)1.2 (0.8)1.2 (0.8)1.2 (0.8)1.2 (0.8)1.3 (0.8)15/15
m-SDWOA Espinoza 8.3 (4)10 (11)5e40/15
s-CMA-ES Gissler 2.1 (2)0.96 (0.5)0.97 (0.6)0.98 (0.6)0.98 (0.6)0.98 (0.6)0.99 (0.6)15/15
sc-CMA-ES Gissler 1.7 (2)0.94 (0.4)0.87 (0.7)0.88 (0.7)0.88 (0.7)0.88 (0.7)0.89 (0.7)15/15
scd-CMA-ES Gissler 2.1 (2)0.94 (1)0.87 (0.7)0.88 (0.8)0.88 (0.8)0.88 (0.7)0.89 (0.7)15/15
scdm-CMA-ES Gissler 2.5 (3)0.84 (0.5)0.90 (0.7)0.90 (0.7)0.90 (0.7)0.90 (0.7)0.91 (0.7)15/15
sd-CMA-ES Gissler 1.2 (0.7)0.89 (0.9)0.85 (0.7)0.85 (0.7)0.86 (0.7)0.86 (0.7)0.87 (0.7)15/15
sdm-CMA-ES Gissler 2.1 (2)0.87 (0.4)0.98 (0.7)0.99 (0.7)0.99 (0.7)1.00 (0.7)1.0 (0.7)15/15

Δ fopt
f16, 5-D
1e1
120
1e0
612
1e-1
2662
1e-2
10163
1e-3
10449
1e-5
11644
1e-7
12095
#succ
15/15
BIRMIN Kudela 3.0 (3)5.4 (4)2.2 (2)1.4 (1)7.6 (12)321 (365)3e50/15
DIRECT-REV Kudela 2.5 (2)2.9 (1.0)1.4 (0.8)1.0 (0.8)2.3 (3)308 (220)3e50/15
E-WOA Espinoza 4.6 (7)344 (528)265 (225)5e40/15
I-DBDP-GL Kudela 2.5 (2)2.5 (1)1.4 (0.8)0.61 (0.4)0.81 (0.5)1.4 (0.6)2.1 (0.6)15/15
WOA Espinoza 1.4 (1)231 (205)266 (249)5e40/15
a-CMA-ES Gissler 2.0 (1)2.1 (2)1.6 (1)0.62 (0.6)0.67 (0.5)0.64 (0.5)0.64 (0.5)15/15
ad-CMA-ES Gissler 1.6 (1)1.9 (2)1.9 (3)0.72 (0.7)0.73 (0.7)0.69 (0.6)0.71 (0.6)15/15
adm-CMA-ES Gissler 2.3 (3)3.5 (3)1.8 (1)0.62 (0.5)0.63 (0.5)0.62 (0.5)0.62 (0.4)15/15
c-CMA-ES Gissler 2.1 (2)3.5 (3)1.2 (1)0.73 (0.7)0.89 (0.6)0.83 (0.6)0.84 (0.6)15/15
cd-CMA-ES Gissler 2.0 (2)3.5 (3)1.3 (1)0.59 (0.3)↑10.59 (0.3)↑10.60 (0.3)↑10.61 (0.3)↑115/15
cdm-CMA-ES Gissler 2.9 (2)4.1 (6)2.2 (3)0.74 (0.8)0.97 (0.8)0.93 (0.6)0.93 (0.6)15/15
cma-bp-bbob Brockhoff 1.5 (1)2.1 (3)1.7 (3)0.50 (0.7)0.51 (0.7)0.49 (0.7)0.61 (0.8)15/15
cma-bt-bbob Brockhoff 1.7 (2)3.2 (6)2.0 (2)0.62 (0.6)0.75 (0.8)0.71 (0.7)0.72 (0.7)15/15
d-CMA-ES Gissler 2.1 (2)3.2 (3)1.8 (0.8)0.62 (0.6)0.72 (0.6)0.68 (0.5)0.68 (0.5)15/15
default-CMA-ES Gissler 1.8 (2)4.8 (5)1.8 (1.0)0.52 (0.3)↑00.65 (0.5)0.65 (0.5)0.66 (0.5)15/15
dm-CMA-ES Gissler 1.7 (2)2.6 (2)1.4 (1)0.59 (0.7)0.64 (0.7)0.61 (0.6)0.62 (0.6)15/15
m-SDWOA Espinoza 3.9 (5)36 (25)5e40/15
s-CMA-ES Gissler 1.8 (2)4.6 (2)2.5 (2)0.84 (0.8)0.85 (0.8)0.80 (0.7)0.82 (0.6)15/15
sc-CMA-ES Gissler 3.1 (2)5.2 (6)2.0 (1)0.70 (0.5)0.73 (0.5)0.69 (0.5)0.70 (0.5)15/15
scd-CMA-ES Gissler 2.7 (2)2.5 (2)1.2 (1)0.57 (0.6)0.68 (0.6)0.71 (0.5)0.72 (0.5)15/15
scdm-CMA-ES Gissler 2.6 (3)3.8 (5)1.8 (1)0.61 (0.7)0.65 (0.7)0.67 (0.6)0.68 (0.6)15/15
sd-CMA-ES Gissler 3.6 (3)3.1 (5)1.6 (1)0.54 (0.3)↑00.57 (0.2)↑00.61 (0.2)↑10.62 (0.2)↑115/15
sdm-CMA-ES Gissler 2.7 (2)3.4 (3)1.8 (1)0.84 (0.5)1.0 (1.0)0.97 (0.9)0.97 (0.9)15/15

Δ fopt
f17, 5-D
1e1
5.0
1e0
215
1e-1
899
1e-2
2861
1e-3
3669
1e-5
6351
1e-7
7934
#succ
15/15
BIRMIN Kudela 2.2 (3)2.1 (1)3.7 (3)27 (46)213 (221)3e50/15
DIRECT-REV Kudela 2.3 (3)2.2 (0.9)1.6 (1)4.5 (7)141 (204)3e50/15
E-WOA Espinoza 4.6 (4)65 (117)5e40/15
I-DBDP-GL Kudela 1.5 (2)2.4 (0.9)2.7 (0.7)2.2 (0.9)3.4 (1)5.1 (0.9)7.9 (1)15/15
WOA Espinoza 4.3 (4)98 (180)5e40/15
a-CMA-ES Gissler 1.9 (3)0.77 (0.3)0.66 (0.2)↑10.60 (0.6)0.63 (0.5)0.73 (0.6)1.0 (0.4)15/15
ad-CMA-ES Gissler 1.1 (1)0.74 (0.2)↑10.67 (0.3)↑10.50 (0.5)0.65 (0.4)0.76 (0.5)0.96 (0.4)15/15
adm-CMA-ES Gissler 1.8 (2)2.2 (0.4)1.1 (2)0.72 (0.8)0.86 (0.6)1.1 (0.5)1.1 (0.5)15/15
c-CMA-ES Gissler 2.3 (3)0.76 (0.3)0.64 (0.2)↑10.54 (0.5)0.75 (0.7)0.75 (0.6)0.99 (0.7)15/15
cd-CMA-ES Gissler 1.4 (2)0.74 (0.3)0.51 (0.2)↑00.48 (0.5)0.79 (0.5)0.80 (0.3)1.0 (0.5)15/15
cdm-CMA-ES Gissler 1.4 (2)0.70 (0.2)↑10.69 (0.2)↑10.54 (0.8)0.58 (0.6)1.1 (0.5)1.3 (0.9)15/15
cma-bp-bbob Brockhoff 1.3 (1)0.90 (0.3)0.70 (0.3)↑10.53 (0.5)0.97 (0.5)0.96 (0.6)1.1 (1.0)15/15
cma-bt-bbob Brockhoff 0.92 (1)1.7 (0.4)0.85 (1)0.55 (0.5)0.72 (0.5)0.92 (0.5)1.0 (0.5)15/15
d-CMA-ES Gissler 1.5 (1)0.77 (0.2)↑10.71 (0.2)↑10.59 (0.6)0.82 (0.5)0.82 (0.5)0.94 (0.4)15/15
default-CMA-ES Gissler 1.3 (2)0.77 (0.3)1.1 (2)0.52 (0.6)0.64 (0.5)1.0 (0.4)1.1 (0.5)15/15
dm-CMA-ES Gissler 1.7 (2)0.84 (0.2)0.89 (0.3)↑10.64 (0.9)0.78 (0.7)1.1 (0.6)1.2 (0.4)15/15
m-SDWOA Espinoza 4.4 (4)7.0 (2)6.4 (0.7)3.8 (0.5)4.2 (0.5)4.2 (0.2)4.5 (0.2)15/15
s-CMA-ES Gissler 1.4 (1)0.74 (0.2)1.1 (1)0.59 (0.5)0.81 (0.4)1.0 (0.5)1.0 (0.5)15/15
sc-CMA-ES Gissler 1.4 (2)1.5 (0.5)0.86 (1)0.75 (0.6)0.84 (0.5)0.98 (0.5)1.1 (0.4)15/15
scd-CMA-ES Gissler 2.1 (3)0.89 (0.5)1.6 (2)0.76 (0.6)0.95 (1.0)1.2 (0.5)1.2 (0.4)15/15
scdm-CMA-ES Gissler 1.8 (2)0.99 (0.8)1.1 (2)0.68 (0.5)1.0 (0.5)1.4 (0.7)1.2 (0.6)15/15
sd-CMA-ES Gissler 1.7 (2)0.82 (0.4)1.1 (2)0.63 (0.6)0.83 (1)1.1 (0.6)1.1 (0.5)15/15
sdm-CMA-ES Gissler 1.5 (2)0.76 (0.2)↑10.47 (0.1)↑00.56 (0.5)0.75 (0.6)1.0 (0.5)1.1 (0.4)15/15

Δ fopt
f18, 5-D
1e1
103
1e0
378
1e-1
3968
1e-2
8451
1e-3
9280
1e-5
10905
1e-7
12469
#succ
15/15
BIRMIN Kudela 3.6 (2)5.3 (7)2.2 (2)13 (17)120 (94)3e50/15
DIRECT-REV Kudela 2.3 (2)3.4 (2)1.5 (0.7)7.9 (16)64 (74)3e50/15
E-WOA Espinoza 13 (17)194 (199)5e40/15
I-DBDP-GL Kudela 1.1 (1)3.7 (1)1.4 (0.6)1.7 (1)3.7 (2)8.5 (4)15 (10)12/15
WOA Espinoza 11 (25)537 (863)5e40/15
a-CMA-ES Gissler 0.87 (0.8)0.87 (0.3)0.38 (0.4)↑10.59 (0.5)0.62 (0.4)↑10.65 (0.3)↑10.78 (0.5)15/15
ad-CMA-ES Gissler 0.92 (0.4)0.90 (0.4)0.70 (0.6)0.49 (0.4)0.50 (0.3)0.65 (0.3)↑10.78 (0.3)15/15
adm-CMA-ES Gissler 0.74 (0.7)2.4 (4)0.48 (0.9)0.65 (0.8)0.72 (0.8)0.81 (0.6)0.92 (0.6)15/15
c-CMA-ES Gissler 0.84 (0.7)1.5 (0.4)0.75 (0.9)0.63 (0.5)0.76 (0.4)0.94 (0.6)1.0 (0.6)15/15
cd-CMA-ES Gissler 0.85 (0.5)0.95 (0.3)0.48 (0.5)0.50 (0.4)0.49 (0.4)↑10.59 (0.3)0.82 (0.2)↑015/15
cdm-CMA-ES Gissler 0.70 (0.3)0.87 (0.2)0.56 (0.5)0.51 (0.5)0.61 (0.5)0.78 (0.3)0.93 (0.5)15/15
cma-bp-bbob Brockhoff 0.88 (0.7)1.0 (0.7)0.59 (0.9)0.50 (0.4)↑10.51 (0.4)↑10.84 (0.6)0.93 (0.5)15/15
cma-bt-bbob Brockhoff 0.78 (0.6)0.98 (0.6)1.0 (1)0.93 (0.7)0.93 (0.6)0.96 (0.5)1.1 (0.8)15/15
d-CMA-ES Gissler 0.86 (0.5)1.5 (0.6)0.52 (0.4)0.47 (0.5)0.60 (0.5)0.69 (0.5)0.92 (0.3)15/15
default-CMA-ES Gissler 0.78 (0.6)1.3 (0.5)0.35 (0.3)↑00.48 (0.3)↑10.59 (0.4)0.78 (0.4)0.84 (0.3)15/15
dm-CMA-ES Gissler 0.82 (0.6)1.5 (0.3)0.39 (0.4)↑10.47 (0.5)0.49 (0.5)0.72 (0.3)0.92 (0.6)15/15
m-SDWOA Espinoza 5.5 (3)9.3 (3)2.2 (0.4)1.7 (0.1)2.3 (0.1)3.0 (0.1)3.5 (0.2)15/15
s-CMA-ES Gissler 0.65 (0.6)5.7 (0.2)1.1 (0.4)0.82 (0.8)0.97 (0.7)0.99 (0.6)1.1 (0.7)15/15
sc-CMA-ES Gissler 0.91 (0.8)1.9 (4)0.41 (0.4)↑10.44 (0.4)↑10.55 (0.5)0.75 (0.3)↑10.81 (0.3)15/15
scd-CMA-ES Gissler 0.80 (0.6)1.0 (0.3)0.38 (0.4)↑00.46 (0.5)0.62 (0.4)0.80 (0.3)0.93 (0.5)15/15
scdm-CMA-ES Gissler 0.84 (0.5)0.90 (0.2)0.34 (0.4)↑10.43 (0.4)↑10.57 (0.3)↑10.60 (0.3)↑10.78 (0.3)↑015/15
sd-CMA-ES Gissler 0.97 (0.6)1.4 (0.4)0.54 (0.4)↑00.59 (0.5)0.58 (0.5)0.76 (0.5)0.91 (0.5)15/15
sdm-CMA-ES Gissler 0.69 (0.3)↑14.6 (0.3)1.0 (1.0)0.77 (0.9)0.76 (0.8)0.88 (0.6)0.96 (0.6)15/15

Δ fopt
f19, 5-D
1e1
1
1e0
1
1e-1
242
1e-2
1.0e5
1e-3
1.2e5
1e-5
1.2e5
1e-7
1.2e5
#succ
15/15
BIRMIN Kudela 19 (23)7969 (1e4)4715 (5515)3e50/15
DIRECT-REV Kudela 1 (0)1 (0)2.2 (4)★33e50/15
E-WOA Espinoza 51 (48)3564 (5768)245 (262)5e40/15
I-DBDP-GL Kudela 28 (32)3699 (3705)538 (553)8.2 (9)15 (19)15 (17)15 (11)2/15
WOA Espinoza 55 (56)7227 (6232)463 (629)5e40/15
a-CMA-ES Gissler 1 (0)1 (0)140 (125)0.89 (0.7)1.0 (0.7)1.0 (0.7)1.0 (0.7)15/15
ad-CMA-ES Gissler 1 (0)1 (0)113 (106)0.65 (0.7)0.74 (0.6)0.74 (0.6)0.75 (0.6)15/15
adm-CMA-ES Gissler 1 (0)1 (0)130 (77)0.85 (0.6)0.83 (0.6)0.84 (0.6)0.84 (0.6)15/15
c-CMA-ES Gissler 1 (0)1 (0)60 (64)0.71 (0.7)0.75 (0.6)0.76 (0.6)0.76 (0.6)15/15
cd-CMA-ES Gissler 1 (0)1 (0)87 (73)0.85 (0.6)0.87 (0.5)0.88 (0.5)0.88 (0.5)15/15
cdm-CMA-ES Gissler 1 (0)1 (0)116 (114)1.1 (0.7)1.1 (0.9)1.1 (0.9)1.1 (0.9)15/15
cma-bp-bbob Brockhoff 1 (0)1 (0)145 (159)6.7 (10)5e40/15
cma-bt-bbob Brockhoff 1 (0)1 (0)142 (144)1.3 (0.9)2.0 (2)3.0 (3)3.0 (3)2/15
d-CMA-ES Gissler 1 (0)1 (0)101 (71)0.75 (0.8)0.79 (0.7)0.80 (0.7)0.80 (0.7)15/15
default-CMA-ES Gissler 1 (0)1 (0)79 (70)0.84 (0.5)0.91 (0.6)0.92 (0.6)0.93 (0.6)15/15
dm-CMA-ES Gissler 1 (0)1 (0)112 (85)0.83 (0.7)0.86 (0.6)0.87 (0.6)0.87 (0.7)15/15
m-SDWOA Espinoza 58 (61)3411 (2621)1414 (1854)5e40/15
s-CMA-ES Gissler 1 (0)1 (0)157 (101)0.85 (0.6)0.90 (0.7)0.90 (0.7)0.91 (0.7)15/15
sc-CMA-ES Gissler 1 (0)1 (0)97 (106)0.74 (0.7)0.66 (0.5)0.67 (0.5)0.67 (0.5)15/15
scd-CMA-ES Gissler 1 (0)1 (0)153 (111)0.83 (0.6)1.1 (0.7)1.1 (0.7)1.1 (0.7)15/15
scdm-CMA-ES Gissler 1 (0)1 (0)194 (184)1.1 (0.7)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
sd-CMA-ES Gissler 1 (0)1 (0)172 (140)1.3 (0.6)1.2 (0.5)1.2 (0.5)1.2 (0.5)15/15
sdm-CMA-ES Gissler 1 (0)1 (0)145 (135)0.97 (0.7)0.99 (0.7)0.99 (0.7)1.00 (0.7)15/15

Δ fopt
f20, 5-D
1e1
16
1e0
851
1e-1
38111
1e-2
51362
1e-3
54470
1e-5
54861
1e-7
55313
#succ
14/15
BIRMIN Kudela 1.6 (1)1.6 (2)2.9 (4)2.2 (7)3.6 (3)13 (16)13 (17)4/15
DIRECT-REV Kudela 2.2 (0)1.9 (1)49 (61)36 (34)34 (38)34 (38)34 (41)2/15
E-WOA Espinoza 26 (25)86 (88)5e40/15
I-DBDP-GL Kudela 4.8 (5)0.96 (0.6)1.8 (3)1.3 (2)1.3 (4)1.4 (2)1.4 (2)12/15
WOA Espinoza 22 (25)5e40/15
a-CMA-ES Gissler 1.9 (1)8.2 (11)1.6 (2)1.3 (1)1.2 (1)1.3 (1)1.3 (1)15/15
ad-CMA-ES Gissler 2.0 (2)6.2 (6)1.8 (1)1.4 (1)1.4 (1)1.4 (1)1.4 (1)15/15
adm-CMA-ES Gissler 2.5 (2)7.1 (7)1.2 (0.8)0.93 (0.7)0.90 (0.6)0.92 (0.7)0.94 (0.7)15/15
c-CMA-ES Gissler 2.3 (2)5.8 (6)1.7 (1)1.3 (1)1.3 (1)1.3 (1)1.3 (1)15/15
cd-CMA-ES Gissler 1.9 (2)6.4 (6)1.5 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
cdm-CMA-ES Gissler 1.6 (1)5.9 (6)1.5 (1)1.2 (0.9)1.2 (0.8)1.2 (0.8)1.2 (0.9)15/15
cma-bp-bbob Brockhoff 1.9 (1)3.7 (3)1.6 (2)1.3 (1)1.3 (1)1.4 (1)1.4 (1)8/15
cma-bt-bbob Brockhoff 1.9 (2)5.5 (4)1.2 (0.9)1.0 (0.7)0.98 (0.7)0.99 (0.7)1.00 (0.7)10/15
d-CMA-ES Gissler 1.6 (1.0)8.7 (5)1.5 (0.5)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
default-CMA-ES Gissler 2.1 (1)7.4 (7)1.5 (0.6)1.2 (0.5)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
dm-CMA-ES Gissler 2.1 (2)11 (12)2.2 (1)1.7 (1)1.7 (1)1.7 (1)1.8 (1)15/15
m-SDWOA Espinoza 16 (10)15 (11)1.5 (0.8)1.5 (1)1.4 (1)1.6 (1.0)4.4 (5)2/15
s-CMA-ES Gissler 1.4 (1)8.3 (5)1.2 (0.8)0.95 (0.7)0.92 (0.7)0.94 (0.7)0.96 (0.7)15/15
sc-CMA-ES Gissler 1.6 (1)4.9 (6)1.7 (2)1.3 (1)1.3 (1)1.3 (1)1.3 (1)15/15
scd-CMA-ES Gissler 2.6 (3)8.0 (5)2.5 (2)2.0 (1)1.9 (1)1.9 (1)2.0 (1)15/15
scdm-CMA-ES Gissler 1.6 (0.9)8.1 (6)2.0 (1)1.5 (1)1.5 (1)1.5 (1)1.5 (1)15/15
sd-CMA-ES Gissler 2.1 (1)7.9 (7)2.1 (1)1.6 (1)1.6 (1)1.6 (1)1.6 (1)15/15
sdm-CMA-ES Gissler 1.9 (1)11 (10)1.8 (0.8)1.4 (0.6)1.4 (0.6)1.4 (0.6)1.4 (0.6)15/15

Δ fopt
f21, 5-D
1e1
41
1e0
1157
1e-1
1674
1e-2
1692
1e-3
1705
1e-5
1729
1e-7
1757
#succ
14/15
BIRMIN Kudela 2.0 (3)0.45 (0.4)↑10.53 (0.5)0.76 (0.7)1.1 (1)26 (72)96 (178)1/15
DIRECT-REV Kudela 1.8 (3)0.51 (0.4)0.85 (0.6)0.88 (0.6)0.91 (0.6)0.97 (0.6)84 (135)2/15
E-WOA Espinoza 8.6 (6)31 (24)33 (33)35 (31)36 (29)41 (36)60 (53)4/15
I-DBDP-GL Kudela 1.4 (1)0.68 (0.8)0.83 (0.8)1.0 (0.8)1.2 (0.9)1.9 (0.8)2.5 (0.8)15/15
WOA Espinoza 5.3 (5)66 (65)84 (121)120 (162)120 (139)192 (252)5e40/15
a-CMA-ES Gissler 1.7 (2)26 (8)34 (100)34 (99)34 (99)33 (99)33 (96)13/15
ad-CMA-ES Gissler 1.2 (1)47 (136)59 (195)59 (118)58 (104)58 (98)58 (95)12/15
adm-CMA-ES Gissler 0.85 (0.9)16 (9)38 (106)39 (105)39 (112)38 (105)38 (106)13/15
c-CMA-ES Gissler 3.4 (2)5.2 (14)48 (98)68 (109)69 (102)69 (103)68 (96)12/15
cd-CMA-ES Gissler 1.2 (1)23 (8)33 (101)33 (98)33 (98)32 (96)32 (95)13/15
cdm-CMA-ES Gissler 1.3 (1)2.7 (3)24 (19)42 (112)42 (110)42 (107)41 (107)13/15
cma-bp-bbob Brockhoff 1.5 (1)4.6 (3)4.6 (6)4.7 (6)4.7 (6)4.9 (7)5.0 (7)15/15
cma-bt-bbob Brockhoff 1.7 (1)5.2 (5)16 (17)16 (20)15 (24)15 (18)15 (16)11/15
d-CMA-ES Gissler 6.2 (18)8.1 (13)59 (104)59 (106)59 (102)59 (101)58 (106)12/15
default-CMA-ES Gissler 5.9 (17)8.7 (8)11 (31)12 (34)12 (35)12 (36)13 (36)15/15
dm-CMA-ES Gissler 1.8 (1)14 (25)29 (20)46 (110)46 (118)46 (108)46 (106)13/15
m-SDWOA Espinoza 4.1 (4)2.7 (2)8.2 (15)9.2 (15)10 (16)10 (14)11 (15)13/15
s-CMA-ES Gissler 1.5 (1)30 (7)40 (106)40 (119)40 (104)39 (116)39 (114)13/15
sc-CMA-ES Gissler 1.0 (0.5)34 (41)58 (110)57 (109)57 (113)57 (162)56 (119)12/15
scd-CMA-ES Gissler 1.9 (3)10 (13)52 (98)52 (102)52 (96)51 (97)50 (94)12/15
scdm-CMA-ES Gissler 1.2 (1)31 (9)40 (115)40 (117)40 (116)40 (112)39 (107)13/15
sd-CMA-ES Gissler 1.5 (1)1.9 (3)19 (10)19 (10)19 (10)19 (10)19 (10)14/15
sdm-CMA-ES Gissler 1.5 (2)18 (24)55 (118)73 (116)73 (175)73 (220)73 (219)12/15

Δ fopt
f22, 5-D
1e1
71
1e0
386
1e-1
938
1e-2
980
1e-3
1008
1e-5
1040
1e-7
1068
#succ
14/15
BIRMIN Kudela 1.6 (2)1.8 (1)2.2 (2)2.7 (3)4.2 (5)63 (121)269 (411)1/15
DIRECT-REV Kudela 2.1 (3)1.5 (1)3.6 (4)3.5 (4)3.4 (4)3.5 (3)90 (123)2/15
E-WOA Espinoza 7.4 (10)40 (70)152 (163)150 (128)153 (186)335 (325)682 (831)1/15
I-DBDP-GL Kudela 1.7 (0.5)2.2 (1)3.3 (2)3.6 (2)4.2 (2)6.4 (3)9.1 (5)15/15
WOA Espinoza 53 (3)153 (195)748 (746)5e40/15
a-CMA-ES Gissler 3.5 (9)7.6 (15)270 (357)397 (433)386 (508)374 (576)364 (628)7/15
ad-CMA-ES Gissler 4.1 (9)5.9 (5)78 (177)131 (176)128 (171)124 (172)121 (320)11/15
adm-CMA-ES Gissler 4.0 (10)12 (15)190 (220)232 (405)227 (390)223 (374)219 (425)10/15
c-CMA-ES Gissler 5.0 (10)10 (15)248 (365)409 (807)398 (523)386 (426)376 (566)7/15
cd-CMA-ES Gissler 5.6 (11)15 (24)174 (310)246 (335)240 (484)233 (355)228 (314)9/15
cdm-CMA-ES Gissler 2.8 (1)24 (16)229 (618)279 (392)273 (193)266 (359)259 (366)9/15
cma-bp-bbob Brockhoff 9.3 (22)21 (25)120 (144)115 (107)112 (122)109 (161)107 (97)5/15
cma-bt-bbob Brockhoff 1.2 (0.7)23 (45)86 (84)82 (105)80 (75)78 (73)76 (106)6/15
d-CMA-ES Gissler 3.9 (10)16 (25)81 (185)136 (190)132 (321)129 (266)126 (174)11/15
default-CMA-ES Gissler 1.3 (0.6)26 (42)227 (297)221 (211)215 (409)212 (349)208 (331)10/15
dm-CMA-ES Gissler 4.3 (2)6.4 (9)284 (404)272 (529)265 (601)258 (220)251 (566)9/15
m-SDWOA Espinoza 6.0 (5)11 (6)41 (69)42 (51)42 (50)52 (50)52 (82)8/15
s-CMA-ES Gissler 3.3 (8)24 (24)110 (254)147 (336)171 (205)174 (256)171 (333)11/15
sc-CMA-ES Gissler 3.4 (9)6.4 (14)74 (175)76 (169)73 (162)73 (159)72 (158)13/15
scd-CMA-ES Gissler 2.5 (1)45 (24)126 (181)155 (185)151 (226)148 (317)146 (185)11/15
scdm-CMA-ES Gissler 2.6 (0.9)9.4 (14)188 (215)464 (561)452 (802)439 (691)428 (793)7/15
sd-CMA-ES Gissler 1.2 (0.9)11 (17)106 (179)102 (176)100 (163)98 (261)96 (169)12/15
sdm-CMA-ES Gissler 2.2 (1)12 (24)312 (343)370 (409)361 (497)351 (390)343 (374)8/15

Δ fopt
f23, 5-D
1e1
3.0
1e0
518
1e-1
14249
1e-2
27890
1e-3
31654
1e-5
33030
1e-7
34256
#succ
15/15
BIRMIN Kudela 2.2 (4)17 (30)50 (49)128 (159)3e50/15
DIRECT-REV Kudela 3.3 (4)3.6 (6)50 (48)126 (146)111 (122)3e50/15
E-WOA Espinoza 3.4 (4)54 (49)5e40/15
I-DBDP-GL Kudela 1.8 (2)7.7 (3)1.2 (0.7)0.95 (0.6)1.3 (0.8)2.2 (0.9)3.3 (1)15/15
WOA Espinoza 3.4 (4)26 (48)5e40/15
a-CMA-ES Gissler 2.4 (2)5.8 (6)3.7 (6)1.9 (3)1.7 (3)1.7 (3)1.7 (3)15/15
ad-CMA-ES Gissler 2.6 (3)4.9 (5)1.5 (1)0.85 (0.6)0.81 (0.5)0.81 (0.5)0.81 (0.5)15/15
adm-CMA-ES Gissler 3.3 (4)5.7 (6)1.1 (0.9)0.91 (0.9)0.82 (0.8)0.81 (0.8)0.82 (0.8)15/15
c-CMA-ES Gissler 2.3 (2)6.8 (6)2.2 (2)1.5 (1)1.3 (1)1.3 (1.0)1.3 (1.0)15/15
cd-CMA-ES Gissler 2.6 (3)7.2 (9)2.1 (2)1.1 (1)1.6 (2)1.6 (2)1.6 (2)15/15
cdm-CMA-ES Gissler 2.6 (3)13 (15)3.7 (3)2.0 (2)1.8 (1)1.7 (1)1.7 (1)15/15
cma-bp-bbob Brockhoff 3.7 (5)6.9 (5)1.8 (3)1.3 (1)1.2 (1)1.1 (2)1.1 (1)12/15
cma-bt-bbob Brockhoff 2.5 (3)7.0 (7)4.0 (3)2.3 (2)2.1 (3)2.0 (2)2.0 (3)8/15
d-CMA-ES Gissler 3.2 (2)8.6 (7)10 (26)6.3 (18)5.6 (16)5.4 (16)5.2 (15)13/15
default-CMA-ES Gissler 3.2 (3)11 (8)13 (14)6.6 (7)5.8 (7)5.9 (6)5.8 (6)14/15
dm-CMA-ES Gissler 2.3 (2)8.4 (7)2.0 (2)1.8 (3)1.6 (2)1.6 (2)1.6 (2)15/15
m-SDWOA Espinoza 3.4 (4)30 (23)5e40/15
s-CMA-ES Gissler 1.9 (2)10 (9)2.7 (2)1.7 (2)1.5 (2)1.5 (2)1.5 (2)15/15
sc-CMA-ES Gissler 2.0 (1)15 (26)5.1 (5)2.9 (3)2.5 (2)2.7 (2)2.7 (2)15/15
scd-CMA-ES Gissler 3.3 (4)12 (11)9.1 (10)4.7 (5)4.2 (5)4.0 (5)3.9 (4)14/15
scdm-CMA-ES Gissler 2.8 (5)8.0 (8)5.3 (11)3.0 (6)2.7 (5)2.9 (5)2.8 (5)15/15
sd-CMA-ES Gissler 2.6 (4)11 (16)1.5 (1)1.7 (2)1.5 (2)1.5 (2)1.5 (2)15/15
sdm-CMA-ES Gissler 2.5 (2)11 (7)3.6 (3)2.4 (2)4.4 (4)4.3 (4)4.2 (4)14/15

Δ fopt
f24, 5-D
1e1
1622
1e0
2.2e5
1e-1
6.4e6
1e-2
9.6e6
1e-3
9.6e6
1e-5
1.3e7
1e-7
1.3e7
#succ
3/15
BIRMIN Kudela 7.6 (15)7.7 (11)3e50/15
DIRECT-REV Kudela 10 (10)7.8 (9)3e50/15
E-WOA Espinoza 31 (46)5e40/15
I-DBDP-GL Kudela 3.6 (3)1.1 (1)0.13 (0.2)0.38 (0.6)0.38 (0.3)0.29 (0.3)0.29 (0.3)1/15
WOA Espinoza 39 (66)5e40/15
a-CMA-ES Gissler 1.4 (2)13 (21)1.1 (0.9)1.5 (2)1.5 (2)1.1 (2)1.1 (2)1/15
ad-CMA-ES Gissler 1.2 (1)2.9 (6)0.26 (0.4)0.31 (0.3)0.31 (0.5)0.23 (0.3)0.23 (0.3)4/15
adm-CMA-ES Gissler 1.4 (1)30 (46)2.2 (3)1.5 (0.9)1.5 (1)1.1 (2)1.1 (0.8)1/15
c-CMA-ES Gissler 1.3 (1)13 (12)1.0 (1)1.5 (2)1.5 (1)1.1 (1)1.1 (1)1/15
cd-CMA-ES Gissler 2.0 (1)1.9 (3)0.46 (0.5)0.70 (1)0.70 (0.7)0.53 (0.4)0.53 (0.8)2/15
cdm-CMA-ES Gissler 2.6 (3)65 (59)1e60/15
cma-bp-bbob Brockhoff 1.4 (2)0.56 (0.7)5e40/15
cma-bt-bbob Brockhoff 2.2 (2)3.4 (3)0.12 (0.2)5e40/15
d-CMA-ES Gissler 1.9 (2)5.6 (7)2.3 (2)1e60/15
default-CMA-ES Gissler 1.9 (2)13 (21)2.2 (2)1.5 (2)1.5 (2)1.1 (1)1.1 (1)1/15
dm-CMA-ES Gissler 2.0 (2)10 (15)2.2 (2)1e60/15
m-SDWOA Espinoza 7.9 (7)5e40/15
s-CMA-ES Gissler 2.0 (2)13 (12)1e60/15
sc-CMA-ES Gissler 1.7 (2)13 (14)1e60/15
scd-CMA-ES Gissler 1.8 (2)7.6 (8)0.69 (1)0.46 (0.5)0.46 (0.5)0.34 (0.2)0.35 (0.3)3/15
scdm-CMA-ES Gissler 1.9 (2)19 (28)1e60/15
sd-CMA-ES Gissler 1.5 (1)3.4 (6)1.1 (1)1.5 (2)1.5 (2)1.1 (1)1.1 (0.9)1/15
sdm-CMA-ES Gissler 2.0 (2)19 (19)1e60/15

Previous dimension | Dimension = 10 | Next dimension

Δ fopt
f1, 10-D
1e1
22
1e0
23
1e-1
23
1e-2
23
1e-3
23
1e-5
23
1e-7
23
#succ
15/15
BIRMIN Kudela 2.9 (0.6)3.2 (0.6)3.2 (0.6)3.2 (0.6)4.5 (1)6.6 (1.0)7.0 (0.9)15/15
DIRECT-REV Kudela 2.3 (0.1)2.7 (0.1)★32.7 (0.1)★32.7 (0.1)★33.0 (0.2)★35.9 (0.3)5.9 (0.2)★315/15
E-WOA Espinoza 43 (29)190 (67)435 (124)768 (276)1242 (312)2326 (527)5704 (2576)7/15
I-DBDP-GL Kudela 11 (6)69 (27)170 (46)343 (105)591 (154)1217 (185)2119 (330)15/15
WOA Espinoza 35 (29)1950 (4535)2.9e4 (3e4)1e50/15
a-CMA-ES Gissler 3.8 (1)10 (3)16 (3)22 (2)28 (2)40 (3)52 (3)15/15
ad-CMA-ES Gissler 3.7 (1)11 (2)17 (3)24 (2)31 (3)44 (3)58 (3)15/15
adm-CMA-ES Gissler 4.6 (1)11 (2)18 (2)24 (2)31 (4)45 (3)58 (3)15/15
c-CMA-ES Gissler 3.9 (1)11 (2)17 (2)23 (4)30 (3)43 (3)57 (5)15/15
cd-CMA-ES Gissler 4.9 (2)12 (3)20 (2)28 (2)35 (4)52 (4)66 (3)15/15
cdm-CMA-ES Gissler 4.0 (2)11 (1)19 (2)26 (2)34 (3)50 (3)65 (3)15/15
cma-bp-bbob Brockhoff 4.1 (2)10 (3)17 (2)23 (4)30 (4)44 (5)56 (5)15/15
cma-bt-bbob Brockhoff 4.4 (3)14 (5)20 (4)27 (4)33 (5)45 (5)59 (6)15/15
d-CMA-ES Gissler 3.7 (2)11 (2)19 (2)26 (3)33 (3)48 (4)62 (3)15/15
default-CMA-ES Gissler 3.6 (1)11 (2)17 (3)24 (2)30 (3)43 (4)57 (4)15/15
dm-CMA-ES Gissler 4.1 (2)11 (2)18 (2)25 (2)33 (2)47 (4)62 (4)15/15
m-SDWOA Espinoza 38 (22)121 (22)204 (26)288 (29)379 (22)549 (24)717 (21)15/15
s-CMA-ES Gissler 3.8 (2)11 (3)17 (4)24 (5)32 (7)45 (7)60 (8)15/15
sc-CMA-ES Gissler 4.1 (1)11 (3)19 (3)25 (4)32 (5)47 (6)62 (7)15/15
scd-CMA-ES Gissler 4.2 (2)12 (6)19 (6)27 (6)34 (6)48 (6)63 (7)15/15
scdm-CMA-ES Gissler 4.3 (2)11 (4)19 (4)27 (4)33 (5)49 (6)63 (9)15/15
sd-CMA-ES Gissler 4.6 (3)12 (4)18 (5)26 (6)33 (6)47 (6)62 (7)15/15
sdm-CMA-ES Gissler 4.4 (2)11 (3)19 (4)26 (5)34 (5)48 (8)62 (9)15/15

Δ fopt
f2, 10-D
1e1
187
1e0
190
1e-1
191
1e-2
191
1e-3
193
1e-5
194
1e-7
195
#succ
15/15
BIRMIN Kudela 1.6 (0.7)2.1 (0.6)2.8 (0.6)3.2 (0.5)3.5 (0.7)4.0 (0.7)4.5 (0.7)14/15
DIRECT-REV Kudela 1.7 (1.0)2.2 (0.7)2.7 (0.9)3.2 (1)3.5 (1)4.2 (2)4.7 (2)15/15
E-WOA Espinoza 457 (257)826 (601)1456 (1853)3769 (3777)3814 (4401)1e50/15
I-DBDP-GL Kudela 112 (32)231 (190)540 (367)812 (1009)1216 (1507)1668 (1700)3720 (3045)5/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 12 (2)15 (2)16 (2)17 (2)17 (2)19 (2)20 (1)15/15
ad-CMA-ES Gissler 11 (3)14 (2)16 (1)16 (1)17 (1)19 (1)20 (1)15/15
adm-CMA-ES Gissler 11 (2)14 (3)15 (3)16 (2)17 (2)19 (2)20 (2)15/15
c-CMA-ES Gissler 15 (3)17 (3)19 (2)20 (2)21 (2)22 (1)24 (2)15/15
cd-CMA-ES Gissler 15 (3)18 (3)19 (3)21 (3)22 (2)23 (2)25 (2)15/15
cdm-CMA-ES Gissler 14 (3)17 (3)19 (3)20 (3)21 (3)23 (3)25 (3)15/15
cma-bp-bbob Brockhoff 12 (3)14 (2)16 (1)17 (1)18 (1)19 (0.9)21 (0.9)15/15
cma-bt-bbob Brockhoff 13 (3)15 (3)17 (2)18 (2)18 (2)20 (2)21 (2)15/15
d-CMA-ES Gissler 13 (2)15 (1)16 (1)17 (1)18 (1)19 (0.9)21 (1)15/15
default-CMA-ES Gissler 12 (2)14 (1)16 (2)17 (2)17 (2)19 (2)20 (2)15/15
dm-CMA-ES Gissler 13 (3)14 (2)16 (2)17 (1)17 (2)19 (2)21 (2)15/15
m-SDWOA Espinoza 41 (3)51 (5)61 (4)72 (5)81 (4)101 (5)120 (6)15/15
s-CMA-ES Gissler 13 (3)16 (3)18 (2)19 (2)19 (2)21 (2)22 (2)15/15
sc-CMA-ES Gissler 15 (5)18 (4)21 (3)23 (3)24 (3)25 (3)27 (3)15/15
scd-CMA-ES Gissler 17 (5)21 (3)22 (4)23 (3)24 (4)26 (3)27 (3)15/15
scdm-CMA-ES Gissler 15 (4)19 (3)20 (2)21 (3)22 (2)24 (3)26 (3)15/15
sd-CMA-ES Gissler 14 (3)16 (3)18 (3)19 (2)19 (2)21 (2)23 (2)15/15
sdm-CMA-ES Gissler 14 (4)17 (2)18 (1)19 (1)20 (2)21 (2)23 (2)15/15

Δ fopt
f3, 10-D
1e1
1739
1e0
3600
1e-1
3609
1e-2
3636
1e-3
3642
1e-5
3646
1e-7
3651
#succ
15/15
BIRMIN Kudela 682 (931)5e50/15
DIRECT-REV Kudela 317 (502)5e50/15
E-WOA Espinoza 824 (863)1e50/15
I-DBDP-GL Kudela 59 (123)2011 (2641)5e50/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 2.7 (3)381 (414)5702 (6866)5660 (5853)5651 (8453)5645 (6344)5637 (4312)1/15
ad-CMA-ES Gissler 3.3 (3)326 (622)1e60/15
adm-CMA-ES Gissler 3.5 (2)510 (640)5933 (6666)5889 (5875)5879 (6624)5873 (1e4)5866 (6398)1/15
c-CMA-ES Gissler 3.0 (2)603 (1057)5485 (6201)5445 (8371)5436 (7390)5431 (4259)5425 (5879)1/15
cd-CMA-ES Gissler 3.7 (3)252 (514)1e60/15
cdm-CMA-ES Gissler 4.1 (3)741 (1471)3609 (4310)3582 (5068)3577 (5152)3574 (2579)3569 (6555)1/15
cma-bp-bbob Brockhoff 4.6 (2)131 (177)412 (521)409 (510)409 (337)409 (598)410 (295)1/15
cma-bt-bbob Brockhoff 5.5 (3)119 (127)1e50/15
d-CMA-ES Gissler 4.1 (3)427 (373)1e60/15
default-CMA-ES Gissler 3.4 (3)1079 (1276)5397 (6336)5358 (6361)5350 (6835)5345 (4859)5339 (4523)1/15
dm-CMA-ES Gissler 2.3 (2)527 (619)4657 (7215)4623 (6301)4615 (7811)4611 (5775)4606 (3085)1/15
m-SDWOA Espinoza 38 (11)206 (165)413 (485)411 (544)410 (522)411 (460)1e50/15
s-CMA-ES Gissler 3.1 (2)614 (904)5478 (8202)5438 (6553)5430 (6362)5424 (7002)5418 (4608)1/15
sc-CMA-ES Gissler 4.3 (3)484 (789)2576 (2913)2558 (1934)2554 (2300)2552 (5046)2550 (2521)2/15
scd-CMA-ES Gissler 4.1 (4)560 (630)1e60/15
scdm-CMA-ES Gissler 4.2 (4)542 (627)1393 (1823)1383 (1179)1382 (2109)1381 (1244)1380 (1616)3/15
sd-CMA-ES Gissler 3.0 (2)977 (1439)1406 (1798)1396 (1595)1394 (1087)1393 (1745)1392 (1627)3/15
sdm-CMA-ES Gissler 2.5 (1)1230 (1944)1e60/15

Δ fopt
f4, 10-D
1e1
2234
1e0
3626
1e-1
3660
1e-2
3695
1e-3
3707
1e-5
3744
1e-7
28767
#succ
12/15
BIRMIN Kudela 305 (362)5e50/15
DIRECT-REV Kudela 706 (1051)5e50/15
E-WOA Espinoza 1e50/15
I-DBDP-GL Kudela 55 (92)1971 (2588)5e50/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 5.2 (3)1e60/15
ad-CMA-ES Gissler 5.5 (4)1e60/15
adm-CMA-ES Gissler 6.2 (4)2e60/15
c-CMA-ES Gissler 6.2 (4)1e60/15
cd-CMA-ES Gissler 8.0 (4)1e60/15
cdm-CMA-ES Gissler 4.5 (2)1e60/15
cma-bp-bbob Brockhoff 3.5 (3)1e50/15
cma-bt-bbob Brockhoff 7.0 (6)1e50/15
d-CMA-ES Gissler 7.9 (4)1e60/15
default-CMA-ES Gissler 5.0 (5)1e60/15
dm-CMA-ES Gissler 5.0 (5)1e60/15
m-SDWOA Espinoza 48 (27)1e50/15
s-CMA-ES Gissler 4.5 (3)1e60/15
sc-CMA-ES Gissler 5.8 (4)1e60/15
scd-CMA-ES Gissler 6.9 (5)1e60/15
scdm-CMA-ES Gissler 5.4 (5)1e60/15
sd-CMA-ES Gissler 7.3 (4)1e60/15
sdm-CMA-ES Gissler 7.4 (9)2e60/15

Δ fopt
f5, 10-D
1e1
20
1e0
20
1e-1
20
1e-2
20
1e-3
20
1e-5
20
1e-7
20
#succ
15/15
BIRMIN Kudela 13 (2)21 (2)25 (2)25 (1)25 (1)26 (1)5e50/15
DIRECT-REV Kudela 14 (0)23 (0)26 (0)27 (0)27 (0)27 (0)5e50/15
E-WOA Espinoza 85 (54)117 (64)121 (64)122 (64)123 (64)123 (64)123 (64)15/15
I-DBDP-GL Kudela 145 (13)487 (21)1013 (16)1829 (83)2830 (52)5479 (168)8931 (47)15/15
WOA Espinoza 1274 (2505)2527 (3751)2528 (3756)2528 (5001)2528 (6256)2528 (3756)2528 (2508)10/15
a-CMA-ES Gissler 4.8 (1)6.0 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)15/15
ad-CMA-ES Gissler 4.9 (1)6.0 (2)6.3 (2)6.4 (2)6.4 (2)6.4 (2)6.4 (2)15/15
adm-CMA-ES Gissler 5.5 (2)6.6 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)7.0 (2)15/15
c-CMA-ES Gissler 4.9 (1)6.2 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)6.3 (1)15/15
cd-CMA-ES Gissler 5.6 (2)6.6 (2)6.9 (3)6.9 (3)6.9 (3)6.9 (3)6.9 (3)15/15
cdm-CMA-ES Gissler 5.5 (2)6.2 (2)6.7 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)15/15
cma-bp-bbob Brockhoff 18 (15)43 (27)47 (26)47 (26)47 (26)47 (26)47 (26)15/15
cma-bt-bbob Brockhoff 17 (4)29 (5)38 (7)46 (7)53 (7)68 (6)84 (8)15/15
d-CMA-ES Gissler 4.7 (2)6.0 (1)6.2 (1)6.2 (1)6.2 (1)6.2 (1)6.2 (1)15/15
default-CMA-ES Gissler 5.5 (2)6.9 (2)7.1 (2)7.3 (2)7.3 (2)7.3 (2)7.3 (2)15/15
dm-CMA-ES Gissler 5.2 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)15/15
m-SDWOA Espinoza 205 (45)434 (63)656 (87)891 (90)1099 (121)1526 (120)1940 (112)15/15
s-CMA-ES Gissler 5.2 (2)6.2 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)15/15
sc-CMA-ES Gissler 5.0 (1)6.4 (3)6.8 (2)6.8 (2)6.8 (2)6.8 (2)6.8 (2)15/15
scd-CMA-ES Gissler 5.2 (2)7.1 (2)7.3 (3)7.3 (3)7.3 (3)7.3 (3)7.3 (3)15/15
scdm-CMA-ES Gissler 5.3 (1)7.0 (3)7.4 (2)7.4 (2)7.4 (2)7.4 (2)7.4 (2)15/15
sd-CMA-ES Gissler 4.3 (1)6.0 (2)6.2 (2)6.3 (2)6.3 (2)6.3 (2)6.3 (2)15/15
sdm-CMA-ES Gissler 4.8 (1)6.2 (2)6.4 (2)6.4 (2)6.4 (2)6.4 (2)6.4 (2)15/15

Δ fopt
f6, 10-D
1e1
412
1e0
623
1e-1
826
1e-2
1039
1e-3
1292
1e-5
1841
1e-7
2370
#succ
15/15
BIRMIN Kudela 1.1 (0.5)1.2 (0.5)1.3 (0.6)1.4 (0.5)29 (0.6)545 (883)5e50/15
DIRECT-REV Kudela 1.3 (0.4)1.4 (0.3)1.4 (0.5)1.6 (0.4)1.7 (0.4)545 (883)5e50/15
E-WOA Espinoza 154 (130)537 (682)1e50/15
I-DBDP-GL Kudela 14 (10)34 (18)49 (16)67 (24)86 (30)106 (27)140 (34)15/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 1.4 (0.4)1.5 (0.4)1.6 (0.2)1.6 (0.3)1.6 (0.3)1.5 (0.2)1.5 (0.1)15/15
ad-CMA-ES Gissler 1.4 (0.3)1.4 (0.3)1.5 (0.3)1.5 (0.3)1.5 (0.2)1.4 (0.1)1.4 (0.1)15/15
adm-CMA-ES Gissler 1.3 (0.4)1.4 (0.3)1.4 (0.3)1.5 (0.3)1.5 (0.3)1.4 (0.2)1.4 (0.1)15/15
c-CMA-ES Gissler 1.8 (0.7)1.8 (0.5)1.9 (0.4)1.9 (0.3)1.8 (0.2)1.7 (0.1)1.7 (0.1)15/15
cd-CMA-ES Gissler 1.8 (0.4)1.8 (0.5)1.8 (0.3)1.8 (0.3)1.8 (0.2)1.7 (0.2)1.7 (0.2)15/15
cdm-CMA-ES Gissler 1.6 (0.3)1.7 (0.3)1.8 (0.2)1.8 (0.2)1.8 (0.2)1.7 (0.2)1.6 (0.2)15/15
cma-bp-bbob Brockhoff 1.4 (0.4)1.6 (0.5)1.7 (0.4)1.7 (0.3)1.7 (0.3)1.6 (0.3)1.6 (0.2)15/15
cma-bt-bbob Brockhoff 1.5 (0.4)1.5 (0.3)1.6 (0.2)1.7 (0.2)1.6 (0.2)1.5 (0.2)1.5 (0.1)15/15
d-CMA-ES Gissler 1.5 (0.4)1.6 (0.4)1.6 (0.3)1.7 (0.3)1.7 (0.3)1.6 (0.2)1.5 (0.2)15/15
default-CMA-ES Gissler 1.6 (0.5)1.7 (0.4)1.7 (0.4)1.7 (0.3)1.7 (0.2)1.6 (0.2)1.5 (0.1)15/15
dm-CMA-ES Gissler 1.5 (0.4)1.6 (0.3)1.6 (0.2)1.7 (0.3)1.7 (0.3)1.6 (0.2)1.5 (0.1)15/15
m-SDWOA Espinoza 14 (2)21 (6)25 (8)30 (12)34 (19)44 (38)55 (44)9/15
s-CMA-ES Gissler 1.3 (0.3)1.6 (0.4)1.6 (0.3)1.6 (0.3)1.6 (0.2)1.5 (0.2)1.6 (0.2)15/15
sc-CMA-ES Gissler 1.6 (0.4)1.7 (0.3)1.8 (0.4)1.8 (0.3)1.7 (0.3)1.6 (0.2)1.6 (0.2)15/15
scd-CMA-ES Gissler 1.6 (0.5)1.8 (0.4)1.8 (0.6)1.8 (0.4)1.8 (0.3)1.7 (0.2)1.7 (0.2)15/15
scdm-CMA-ES Gissler 1.6 (0.5)1.7 (0.4)1.7 (0.3)1.8 (0.2)1.7 (0.2)1.6 (0.2)1.5 (0.2)15/15
sd-CMA-ES Gissler 1.5 (0.4)1.6 (0.2)1.6 (0.3)1.7 (0.2)1.6 (0.3)1.6 (0.1)1.6 (0.2)15/15
sdm-CMA-ES Gissler 1.6 (0.5)1.7 (0.5)1.7 (0.3)1.8 (0.3)1.8 (0.2)1.7 (0.2)1.7 (0.2)15/15

Δ fopt
f7, 10-D
1e1
172
1e0
1611
1e-1
4195
1e-2
5099
1e-3
5141
1e-5
5141
1e-7
5389
#succ
15/15
BIRMIN Kudela 7.7 (2)14 (9)45 (42)448 (611)445 (546)445 (515)439 (667)3/15
DIRECT-REV Kudela 6.1 (6)9.2 (10)48 (79)242 (284)316 (330)316 (388)420 (554)3/15
E-WOA Espinoza 290 (348)1e50/15
I-DBDP-GL Kudela 10 (6)7.2 (5)7.9 (5)13 (9)15 (15)15 (15)15 (15)15/15
WOA Espinoza 3838 (4918)1e50/15
a-CMA-ES Gissler 1.5 (0.7)0.97 (1)0.77 (0.5)0.85 (0.4)0.88 (0.4)0.88 (0.4)0.86 (0.3)15/15
ad-CMA-ES Gissler 1.6 (0.6)0.84 (0.5)0.53 (0.5)0.63 (0.3)↑00.64 (0.3)↑00.64 (0.3)↑00.62 (0.3)↑015/15
adm-CMA-ES Gissler 1.6 (0.4)1.2 (1)0.87 (0.4)0.87 (0.3)0.87 (0.3)0.87 (0.3)0.85 (0.3)15/15
c-CMA-ES Gissler 2.2 (1)1.1 (0.8)0.87 (0.4)0.80 (0.3)0.89 (0.3)0.89 (0.3)0.87 (0.3)15/15
cd-CMA-ES Gissler 1.9 (0.9)0.85 (0.6)0.81 (0.4)0.80 (0.3)0.80 (0.3)0.80 (0.3)0.78 (0.3)15/15
cdm-CMA-ES Gissler 1.8 (0.6)0.96 (0.6)0.93 (0.9)0.86 (0.8)0.86 (0.8)0.86 (0.8)0.84 (0.8)15/15
cma-bp-bbob Brockhoff 1.8 (0.8)0.88 (0.6)0.71 (0.4)0.69 (0.3)0.70 (0.3)0.70 (0.3)0.68 (0.3)15/15
cma-bt-bbob Brockhoff 1.8 (0.6)1.4 (0.7)1.3 (1)1.3 (1.0)1.3 (1.0)1.3 (1.0)1.3 (0.9)15/15
d-CMA-ES Gissler 1.6 (0.7)0.70 (0.6)0.65 (0.6)0.66 (0.4)0.70 (0.4)0.70 (0.4)0.69 (0.4)15/15
default-CMA-ES Gissler 1.5 (0.4)0.87 (1)0.80 (0.5)0.79 (0.4)0.79 (0.4)0.79 (0.4)0.79 (0.3)15/15
dm-CMA-ES Gissler 1.9 (0.4)0.83 (0.6)0.77 (0.6)0.73 (0.5)0.73 (0.5)0.73 (0.5)0.77 (0.4)15/15
m-SDWOA Espinoza 12 (3)3.3 (0.9)2.1 (0.3)2.5 (0.4)2.6 (0.4)2.6 (0.4)2.6 (0.4)15/15
s-CMA-ES Gissler 2.0 (0.7)0.99 (0.5)0.76 (0.4)0.79 (0.3)0.80 (0.3)0.80 (0.3)0.77 (0.3)15/15
sc-CMA-ES Gissler 1.8 (0.5)1.3 (1)0.74 (0.4)0.69 (0.4)0.70 (0.3)0.70 (0.3)0.68 (0.3)15/15
scd-CMA-ES Gissler 1.8 (0.9)1.0 (0.5)0.83 (0.3)0.82 (0.3)0.85 (0.3)0.85 (0.3)0.88 (0.3)15/15
scdm-CMA-ES Gissler 1.8 (0.7)0.97 (0.6)0.96 (0.4)0.88 (0.3)0.88 (0.3)0.88 (0.3)0.86 (0.3)15/15
sd-CMA-ES Gissler 2.2 (0.8)0.91 (1)0.81 (0.6)0.74 (0.5)0.75 (0.5)0.75 (0.5)0.74 (0.5)15/15
sdm-CMA-ES Gissler 1.9 (0.8)1.4 (1)0.76 (0.3)0.72 (0.3)0.74 (0.3)0.74 (0.3)0.72 (0.3)15/15

Δ fopt
f8, 10-D
1e1
326
1e0
921
1e-1
1114
1e-2
1217
1e-3
1267
1e-5
1315
1e-7
1343
#succ
15/15
BIRMIN Kudela 0.64 (0.3)↑10.69 (0.1)↑10.65 (0.1)↑00.64 (0.1)↑00.63 (0.1)↑00.63 (0.1)↑00.63 (0.1)↑015/15
DIRECT-REV Kudela 0.50 (0.1)↑010 (22)8.1 (18)7.4 (17)7.2 (16)6.9 (16)6.8 (15)15/15
E-WOA Espinoza 88 (63)805 (1138)1e50/15
I-DBDP-GL Kudela 25 (8)86 (23)126 (36)159 (57)190 (62)272 (88)1013 (752)5/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 2.4 (1)5.0 (5)4.8 (5)4.7 (4)4.7 (4)4.8 (4)4.9 (4)15/15
ad-CMA-ES Gissler 2.4 (1)3.8 (1.0)3.8 (0.8)3.8 (0.7)3.8 (0.7)3.9 (0.6)4.1 (0.7)15/15
adm-CMA-ES Gissler 2.3 (0.4)3.9 (1)3.9 (1)3.9 (1.0)3.9 (0.9)4.0 (0.9)4.2 (0.8)15/15
c-CMA-ES Gissler 2.5 (2)5.5 (5)5.6 (4)5.6 (4)5.7 (4)5.9 (4)6.0 (4)15/15
cd-CMA-ES Gissler 2.2 (0.5)4.3 (0.8)4.7 (0.7)4.9 (0.7)5.0 (0.8)5.2 (0.7)5.4 (0.7)15/15
cdm-CMA-ES Gissler 2.4 (0.8)5.4 (4)5.6 (4)5.7 (3)5.9 (3)6.0 (3)6.2 (3)15/15
cma-bp-bbob Brockhoff 2.0 (0.7)3.9 (0.7)3.9 (0.6)3.9 (0.5)4.0 (0.5)4.1 (0.5)4.2 (0.5)15/15
cma-bt-bbob Brockhoff 2.3 (0.8)3.9 (1)3.9 (1)3.9 (1.0)4.0 (0.9)4.1 (0.9)4.2 (0.9)15/15
d-CMA-ES Gissler 2.1 (1)3.7 (0.6)3.8 (0.6)3.8 (0.6)3.8 (0.5)4.0 (0.5)4.1 (0.5)15/15
default-CMA-ES Gissler 1.9 (0.8)3.6 (0.8)3.7 (0.7)3.7 (0.7)3.8 (0.7)3.9 (0.7)4.0 (0.6)15/15
dm-CMA-ES Gissler 2.0 (0.4)4.1 (0.6)4.1 (0.5)4.1 (0.5)4.1 (0.5)4.2 (0.5)4.4 (0.4)15/15
m-SDWOA Espinoza 20 (4)1e50/15
s-CMA-ES Gissler 1.9 (0.4)3.8 (1.0)3.9 (0.9)3.9 (0.9)3.9 (0.9)4.0 (0.9)4.1 (0.8)15/15
sc-CMA-ES Gissler 2.0 (0.6)5.6 (5)5.9 (4)5.9 (4)6.0 (3)6.1 (3)6.2 (3)15/15
scd-CMA-ES Gissler 2.0 (0.4)7.3 (11)7.3 (9)7.2 (8)7.2 (8)7.3 (8)7.4 (8)15/15
scdm-CMA-ES Gissler 2.7 (2)5.4 (3)5.8 (2)5.8 (2)5.9 (2)6.0 (2)6.2 (2)15/15
sd-CMA-ES Gissler 2.6 (2)5.9 (5)5.6 (5)5.4 (4)5.4 (4)5.5 (4)5.7 (4)15/15
sdm-CMA-ES Gissler 2.5 (2)4.9 (4)4.8 (3)4.6 (3)4.6 (3)4.7 (3)4.9 (3)15/15

Δ fopt
f9, 10-D
1e1
200
1e0
648
1e-1
857
1e-2
993
1e-3
1065
1e-5
1138
1e-7
1185
#succ
15/15
BIRMIN Kudela 1.2 (0.5)★212 (0.5)10 (0.4)8.3 (0.3)7.8 (0.3)7.3 (0.3)7.0 (0.3)15/15
DIRECT-REV Kudela 1.8 (0.4)0.88 (0.2)0.77 (0.1)↑00.71 (0.1)↑00.68 (0.1)↑00.67 (0.1)↑00.66 (0.1)↑015/15
E-WOA Espinoza 77 (19)1e50/15
I-DBDP-GL Kudela 77 (42)189 (65)242 (42)304 (60)345 (68)862 (911)2065 (1790)1/15
WOA Espinoza 2037 (2875)1e50/15
a-CMA-ES Gissler 2.8 (1)6.7 (5)5.9 (4)5.5 (4)5.3 (3)5.3 (3)5.4 (3)15/15
ad-CMA-ES Gissler 2.7 (0.7)6.2 (5)5.6 (4)5.2 (4)5.1 (3)5.1 (3)5.2 (3)15/15
adm-CMA-ES Gissler 2.6 (0.6)5.4 (1)4.9 (0.7)4.6 (0.6)4.5 (0.6)4.5 (0.6)4.6 (0.5)15/15
c-CMA-ES Gissler 2.5 (0.5)6.4 (2)6.4 (1)6.2 (1)6.1 (1)6.2 (1)6.3 (1)15/15
cd-CMA-ES Gissler 3.1 (0.5)6.2 (1)6.2 (0.9)6.1 (0.9)6.0 (0.9)6.1 (0.9)6.1 (0.8)15/15
cdm-CMA-ES Gissler 3.4 (1.0)6.9 (1)6.7 (1)6.5 (1)6.4 (1.0)6.4 (0.9)6.4 (0.9)15/15
cma-bp-bbob Brockhoff 2.9 (1)5.4 (2)5.1 (1)4.7 (1)4.6 (0.9)4.7 (0.9)4.8 (0.8)15/15
cma-bt-bbob Brockhoff 2.9 (0.5)5.4 (0.9)5.0 (0.7)4.7 (0.6)4.6 (0.5)4.6 (0.5)4.7 (0.5)15/15
d-CMA-ES Gissler 2.7 (0.7)4.4 (0.9)4.3 (0.8)4.1 (0.8)4.0 (0.7)4.1 (0.6)4.2 (0.6)15/15
default-CMA-ES Gissler 3.4 (3)4.8 (1)4.5 (0.8)4.3 (0.7)4.2 (0.6)4.2 (0.6)4.3 (0.6)15/15
dm-CMA-ES Gissler 3.2 (0.4)5.7 (2)5.3 (2)5.0 (1)4.9 (1)4.9 (1)5.0 (1)15/15
m-SDWOA Espinoza 22 (3)1e50/15
s-CMA-ES Gissler 2.6 (0.7)4.9 (1.0)4.7 (1.0)4.4 (0.9)4.3 (0.8)4.3 (0.8)4.4 (0.7)15/15
sc-CMA-ES Gissler 2.9 (0.8)8.1 (7)7.7 (5)7.3 (4)7.1 (4)7.0 (4)7.1 (4)15/15
scd-CMA-ES Gissler 2.9 (0.5)7.9 (2)7.5 (2)7.2 (1)7.1 (1)7.0 (1)7.0 (1)15/15
scdm-CMA-ES Gissler 3.1 (0.8)8.2 (7)7.7 (5)7.3 (5)7.2 (5)7.1 (4)7.1 (4)15/15
sd-CMA-ES Gissler 2.7 (0.5)6.2 (2)5.6 (2)5.2 (1)5.0 (1)5.0 (1)5.1 (1)15/15
sdm-CMA-ES Gissler 3.1 (1)4.8 (1)4.5 (1)4.2 (0.9)4.1 (0.9)4.2 (0.8)4.3 (0.7)15/15

Δ fopt
f10, 10-D
1e1
1835
1e0
2172
1e-1
2455
1e-2
2728
1e-3
2802
1e-5
4543
1e-7
4739
#succ
15/15
BIRMIN Kudela 0.21 (0.1)↑00.24 (0.1)↑00.25 (0.1)↑00.26 (0.1)↑00.29 (0.1)↑0220 (303)5e50/15
DIRECT-REV Kudela 0.23 (0.2)↑00.26 (0.2)↑00.27 (0.1)↑00.26 (0.1)↑013 (0.2)96 (110)5e50/15
E-WOA Espinoza 1e50/15
I-DBDP-GL Kudela 1242 (1275)3314 (3799)5e50/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 1.2 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.1)1.2 (0.1)0.80 (0.1)↑00.83 (0.1)↑015/15
ad-CMA-ES Gissler 1.3 (0.3)1.3 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.1)0.82 (0.1)↑00.85 (0.1)↑015/15
adm-CMA-ES Gissler 1.3 (0.4)1.4 (0.2)1.3 (0.2)1.2 (0.1)1.2 (0.1)0.84 (0.1)↑00.87 (0.1)↑015/15
c-CMA-ES Gissler 1.6 (0.3)1.5 (0.3)1.5 (0.2)1.4 (0.2)1.4 (0.2)0.95 (0.1)0.98 (0.1)15/15
cd-CMA-ES Gissler 1.4 (0.2)1.4 (0.2)1.4 (0.2)1.4 (0.1)1.4 (0.1)0.95 (0.1)0.98 (0.1)15/15
cdm-CMA-ES Gissler 1.5 (0.3)1.5 (0.3)1.5 (0.2)1.4 (0.1)1.5 (0.1)0.99 (0.1)1.0 (0.1)15/15
cma-bp-bbob Brockhoff 1.2 (0.2)1.3 (0.1)1.3 (0.2)1.2 (0.2)1.2 (0.1)0.84 (0.1)↑10.87 (0.1)15/15
cma-bt-bbob Brockhoff 2.0 (1.0)2.0 (1)1.9 (0.9)1.8 (0.8)1.8 (0.8)1.2 (0.5)1.2 (0.5)15/15
d-CMA-ES Gissler 1.3 (0.2)1.3 (0.2)1.2 (0.1)1.2 (0.1)1.2 (0.1)0.83 (0.1)↑00.86 (0.1)↑015/15
default-CMA-ES Gissler 1.2 (0.2)1.3 (0.2)1.3 (0.1)1.2 (0.1)1.2 (0.1)0.81 (0.1)↑00.84 (0.1)↑015/15
dm-CMA-ES Gissler 1.3 (0.3)1.3 (0.2)1.2 (0.1)1.2 (0.1)1.2 (0.1)0.82 (0.1)↑00.86 (0.1)↑015/15
m-SDWOA Espinoza 10 (3)23 (23)27 (32)32 (28)34 (36)32 (39)39 (37)6/15
s-CMA-ES Gissler 1.3 (0.3)1.3 (0.3)1.3 (0.2)1.3 (0.1)1.3 (0.1)0.89 (0.1)↑10.91 (0.1)↑115/15
sc-CMA-ES Gissler 1.7 (0.4)1.7 (0.3)1.6 (0.3)1.6 (0.2)1.6 (0.2)1.1 (0.1)1.1 (0.1)15/15
scd-CMA-ES Gissler 2.0 (0.5)1.9 (0.4)1.9 (0.3)1.7 (0.2)1.8 (0.2)1.2 (0.1)1.2 (0.1)15/15
scdm-CMA-ES Gissler 1.7 (0.6)1.8 (0.4)1.8 (0.3)1.7 (0.2)1.7 (0.2)1.1 (0.1)1.1 (0.1)15/15
sd-CMA-ES Gissler 1.2 (0.3)1.3 (0.3)1.3 (0.2)1.2 (0.1)1.3 (0.1)0.86 (0.1)↑00.90 (0.1)↑115/15
sdm-CMA-ES Gissler 1.3 (0.3)1.4 (0.2)1.4 (0.1)1.3 (0.1)1.3 (0.1)0.91 (0.1)↑00.94 (0.1)15/15

Δ fopt
f11, 10-D
1e1
266
1e0
1041
1e-1
2602
1e-2
2954
1e-3
3338
1e-5
4092
1e-7
4843
#succ
15/15
BIRMIN Kudela 0.51 (0.1)↑00.22 (0.1)↑00.12 (0.0)↑00.13 (0.0)↑038 (75)794 (1252)5e50/15
DIRECT-REV Kudela 0.54 (0.1)↑00.22 (0.1)↑00.11 (0.0)↑00.13 (0.0)↑011 (0.2)1711 (2444)5e50/15
E-WOA Espinoza 1724 (2178)1e50/15
I-DBDP-GL Kudela 149 (85)112 (89)75 (37)100 (35)165 (103)907 (1100)5e50/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 5.3 (0.4)1.6 (0.2)0.73 (0.1)↑00.70 (0.1)↑00.67 (0.1)↑00.62 (0.1)↑00.59 (0.1)↑015/15
ad-CMA-ES Gissler 5.6 (0.6)1.7 (0.2)0.78 (0.1)↑00.75 (0.1)↑00.71 (0.0)↑00.66 (0.0)↑00.62 (0.0)↑015/15
adm-CMA-ES Gissler 5.1 (0.6)1.6 (0.1)0.72 (0.1)↑00.70 (0.1)↑00.67 (0.0)↑00.63 (0.0)↑00.59 (0.0)↑015/15
c-CMA-ES Gissler 5.8 (1)1.7 (0.2)0.77 (0.1)↑00.74 (0.1)↑00.71 (0.1)↑00.66 (0.1)↑00.62 (0.0)↑015/15
cd-CMA-ES Gissler 5.8 (0.8)1.7 (0.2)0.78 (0.1)↑00.76 (0.1)↑00.73 (0.1)↑00.69 (0.1)↑00.65 (0.1)↑015/15
cdm-CMA-ES Gissler 5.7 (0.6)1.7 (0.2)0.76 (0.1)↑00.73 (0.0)↑00.71 (0.0)↑00.66 (0.0)↑00.63 (0.0)↑015/15
cma-bp-bbob Brockhoff 5.5 (1)1.7 (0.2)0.77 (0.1)↑10.74 (0.1)↑00.70 (0.0)↑00.65 (0.1)↑00.62 (0.0)↑015/15
cma-bt-bbob Brockhoff 12 (8)3.8 (3)1.7 (1)1.6 (1.0)1.4 (0.9)1.2 (0.7)1.1 (0.6)15/15
d-CMA-ES Gissler 5.5 (0.9)1.7 (0.2)0.74 (0.1)↑00.72 (0.1)↑00.69 (0.1)↑00.65 (0.0)↑00.62 (0.0)↑015/15
default-CMA-ES Gissler 5.5 (0.7)1.7 (0.2)0.74 (0.1)↑00.72 (0.1)↑00.69 (0.1)↑00.64 (0.0)↑00.60 (0.0)↑015/15
dm-CMA-ES Gissler 5.4 (0.8)1.6 (0.2)0.73 (0.0)↑00.70 (0.0)↑00.68 (0.0)↑00.64 (0.0)↑00.61 (0.0)↑015/15
m-SDWOA Espinoza 18 (3)19 (31)11 (19)59 (77)88 (143)165 (159)295 (310)1/15
s-CMA-ES Gissler 5.7 (0.7)1.7 (0.3)0.79 (0.1)↑10.76 (0.1)↑10.72 (0.1)↑00.67 (0.1)↑00.63 (0.1)↑015/15
sc-CMA-ES Gissler 5.9 (1.0)1.8 (0.2)0.78 (0.1)↑00.75 (0.1)↑00.72 (0.1)↑00.67 (0.1)↑00.64 (0.1)↑015/15
scd-CMA-ES Gissler 5.6 (0.7)1.7 (0.2)0.78 (0.1)↑00.75 (0.1)↑00.72 (0.1)↑00.69 (0.1)↑00.65 (0.1)↑015/15
scdm-CMA-ES Gissler 5.8 (0.9)1.8 (0.3)0.78 (0.1)↑10.75 (0.1)↑00.72 (0.1)↑00.67 (0.1)↑00.64 (0.1)↑015/15
sd-CMA-ES Gissler 5.6 (0.9)1.8 (0.3)0.81 (0.2)0.77 (0.2)0.74 (0.2)↑00.68 (0.1)↑00.65 (0.1)↑015/15
sdm-CMA-ES Gissler 5.6 (1.0)1.7 (0.2)0.76 (0.1)↑00.73 (0.1)↑00.70 (0.1)↑00.65 (0.1)↑00.62 (0.1)↑015/15

Δ fopt
f12, 10-D
1e1
515
1e0
896
1e-1
1240
1e-2
1390
1e-3
1569
1e-5
3660
1e-7
5154
#succ
15/15
BIRMIN Kudela 0.46 (0.1)↑00.50 (0.3)↑10.53 (0.4)↑10.60 (0.3)↑10.62 (0.3)↑1120 (205)388 (558)3/15
DIRECT-REV Kudela 0.76 (0.4)0.83 (0.5)0.84 (0.5)0.84 (0.5)0.83 (0.4)92 (137)194 (194)5/15
E-WOA Espinoza 193 (149)494 (422)1205 (1008)1e50/15
I-DBDP-GL Kudela 55 (8)57 (26)118 (80)385 (298)800 (797)2009 (2187)5e50/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 3.7 (4)4.8 (4)5.0 (3)5.1 (2)4.9 (2)2.6 (0.8)2.0 (0.6)15/15
ad-CMA-ES Gissler 4.9 (5)4.7 (5)4.8 (5)5.0 (5)4.9 (4)2.6 (2)2.1 (1.0)15/15
adm-CMA-ES Gissler 2.4 (0.2)3.1 (2)3.8 (2)4.1 (2)4.3 (2)2.3 (0.7)1.9 (0.5)15/15
c-CMA-ES Gissler 4.1 (5)5.7 (6)6.8 (4)7.3 (4)7.4 (3)4.1 (1)3.3 (1)15/15
cd-CMA-ES Gissler 5.1 (7)5.6 (7)6.7 (6)7.3 (5)7.3 (4)4.0 (2)3.3 (1)15/15
cdm-CMA-ES Gissler 4.3 (5)5.2 (7)6.1 (6)7.1 (4)7.2 (4)4.1 (1)3.4 (0.9)15/15
cma-bp-bbob Brockhoff 2.7 (1)3.5 (3)3.8 (3)4.1 (2)4.3 (2)2.3 (1)1.9 (0.9)15/15
cma-bt-bbob Brockhoff 3.5 (2)4.2 (4)4.1 (3)4.0 (3)4.1 (3)2.2 (1)1.8 (1.0)15/15
d-CMA-ES Gissler 3.4 (3)5.0 (3)5.0 (3)5.1 (3)5.0 (2)2.7 (1)2.1 (0.9)15/15
default-CMA-ES Gissler 4.9 (4)5.1 (4)5.0 (4)5.2 (4)5.2 (3)2.8 (1)2.2 (1.0)15/15
dm-CMA-ES Gissler 3.9 (3)4.0 (4)4.5 (3)4.7 (3)4.7 (3)2.5 (1)2.1 (0.8)15/15
m-SDWOA Espinoza 42 (3)48 (59)140 (124)1032 (954)1e50/15
s-CMA-ES Gissler 3.2 (4)3.4 (4)3.8 (4)4.2 (3)4.2 (2)2.3 (0.9)1.9 (0.6)15/15
sc-CMA-ES Gissler 4.6 (7)6.6 (7)7.6 (7)8.2 (7)8.2 (5)4.6 (2)3.8 (2)15/15
scd-CMA-ES Gissler 3.8 (5)4.1 (6)5.6 (6)6.3 (5)6.4 (4)3.6 (2)3.0 (1)15/15
scdm-CMA-ES Gissler 4.3 (5)6.2 (8)6.7 (8)7.4 (8)7.5 (7)4.1 (3)3.4 (3)15/15
sd-CMA-ES Gissler 3.7 (2)4.3 (3)4.4 (3)4.6 (2)4.6 (2)2.4 (1)2.0 (0.8)15/15
sdm-CMA-ES Gissler 2.4 (0.3)3.1 (2)3.6 (2)3.8 (2)4.0 (2)2.2 (1.0)1.8 (0.7)15/15

Δ fopt
f13, 10-D
1e1
387
1e0
596
1e-1
797
1e-2
1014
1e-3
4587
1e-5
6208
1e-7
7779
#succ
15/15
BIRMIN Kudela 0.61 (0.3)12 (0.2)24 (0.1)180 (370)96 (109)5e50/15
DIRECT-REV Kudela 0.61 (0.3)↑00.73 (0.2)↑00.73 (0.3)0.71 (0.3)96 (164)1128 (1490)5e50/15
E-WOA Espinoza 172 (147)1221 (2295)1e50/15
I-DBDP-GL Kudela 38 (13)78 (45)134 (100)290 (328)130 (72)1175 (1250)5e50/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 2.5 (2)2.7 (2)3.9 (2)4.6 (2)1.2 (0.5)1.1 (0.3)1.2 (0.6)15/15
ad-CMA-ES Gissler 1.9 (0.4)2.9 (1)3.5 (2)4.3 (2)1.0 (0.5)0.99 (0.4)1.1 (0.6)15/15
adm-CMA-ES Gissler 2.8 (2)3.2 (2)3.8 (1)3.5 (1)0.90 (0.3)0.89 (0.2)1.2 (0.6)15/15
c-CMA-ES Gissler 2.0 (0.3)4.5 (3)6.1 (1.0)5.4 (0.8)1.3 (0.3)1.5 (0.3)1.5 (0.4)15/15
cd-CMA-ES Gissler 2.4 (0.7)5.3 (2)4.9 (0.4)4.4 (0.6)1.2 (0.3)1.3 (0.2)1.4 (0.5)15/15
cdm-CMA-ES Gissler 2.9 (3)3.5 (2)4.1 (2)5.3 (1)1.5 (0.3)1.4 (0.3)1.5 (0.2)15/15
cma-bp-bbob Brockhoff 2.4 (1)3.1 (1)3.1 (1)3.5 (2)0.94 (0.3)0.98 (0.3)0.95 (0.3)15/15
cma-bt-bbob Brockhoff 2.9 (2)3.4 (2)3.8 (1)3.5 (1.0)0.91 (0.2)1.0 (0.2)0.98 (0.2)15/15
d-CMA-ES Gissler 2.2 (1)3.0 (2)3.5 (1)3.3 (0.8)0.90 (0.2)0.93 (0.2)0.91 (0.2)15/15
default-CMA-ES Gissler 2.5 (2)3.3 (1)3.4 (1)3.3 (1.0)0.86 (0.2)0.84 (0.1)↑10.92 (0.2)15/15
dm-CMA-ES Gissler 1.9 (0.3)2.7 (1)3.9 (1)3.6 (0.8)0.88 (0.1)0.90 (0.2)0.94 (0.2)15/15
m-SDWOA Espinoza 20 (1)21 (2)23 (3)27 (13)12 (11)25 (28)58 (42)1/15
s-CMA-ES Gissler 2.6 (2)3.6 (2)4.2 (2)4.1 (2)1.1 (0.5)1.2 (0.5)1.2 (0.5)15/15
sc-CMA-ES Gissler 2.2 (0.4)4.4 (4)5.7 (3)5.8 (2)1.6 (0.4)1.6 (0.4)1.5 (0.2)15/15
scd-CMA-ES Gissler 3.0 (3)5.4 (4)6.4 (2)5.7 (1)1.5 (0.4)1.5 (0.2)1.5 (0.5)15/15
scdm-CMA-ES Gissler 3.8 (3)5.6 (3)5.4 (2)5.0 (2)1.3 (0.4)1.5 (0.5)1.4 (0.5)15/15
sd-CMA-ES Gissler 2.5 (2)3.1 (2)3.7 (2)4.0 (2)1.1 (0.5)1.0 (0.4)1.0 (0.4)15/15
sdm-CMA-ES Gissler 2.2 (2)3.2 (2)3.7 (2)3.5 (2)1.0 (0.6)1.1 (0.4)1.2 (0.5)15/15

Δ fopt
f14, 10-D
1e1
37
1e0
98
1e-1
133
1e-2
205
1e-3
392
1e-5
687
1e-7
4305
#succ
15/15
BIRMIN Kudela 1.7 (2)2.5 (0.9)3.0 (0.7)3.0 (0.6)2.0 (0.4)1.6 (0.3)5e50/15
DIRECT-REV Kudela 2.0 (1)3.0 (1)3.1 (1)2.8 (0.5)2.0 (0.3)1.6 (0.3)5e50/15
E-WOA Espinoza 12 (12)50 (18)89 (22)233 (324)692 (857)1e50/15
I-DBDP-GL Kudela 2.0 (3)14 (7)30 (8)62 (18)102 (43)2503 (1825)5e50/15
WOA Espinoza 7.1 (10)623 (1070)1e50/15
a-CMA-ES Gissler 1.2 (0.8)2.4 (0.7)3.1 (0.7)3.3 (0.5)2.8 (0.6)3.0 (0.4)0.73 (0.1)↑015/15
ad-CMA-ES Gissler 1.3 (1)2.5 (0.7)3.4 (0.6)3.6 (0.5)2.9 (0.4)3.2 (0.2)0.75 (0.1)↑015/15
adm-CMA-ES Gissler 1.1 (1)2.4 (0.5)3.2 (0.4)3.5 (0.3)2.8 (0.3)3.0 (0.2)0.73 (0.1)↑015/15
c-CMA-ES Gissler 1.5 (1)2.8 (0.7)3.5 (0.6)3.7 (0.4)3.2 (0.5)3.7 (0.4)0.92 (0.1)↑115/15
cd-CMA-ES Gissler 1.5 (1)2.6 (0.7)3.6 (0.5)3.8 (0.5)3.2 (0.3)3.7 (0.2)0.90 (0.1)↑115/15
cdm-CMA-ES Gissler 1.3 (1)2.6 (0.6)3.9 (0.6)4.1 (0.4)3.3 (0.3)3.8 (0.3)0.93 (0.1)15/15
cma-bp-bbob Brockhoff 0.93 (0.9)2.5 (0.5)3.4 (0.4)3.6 (0.5)3.0 (0.3)3.1 (0.2)0.76 (0.0)↑015/15
cma-bt-bbob Brockhoff 1.2 (0.9)2.8 (0.8)3.7 (0.9)3.6 (0.8)3.0 (0.5)3.2 (0.2)0.79 (0.1)↑015/15
d-CMA-ES Gissler 1.0 (0.7)2.7 (0.4)3.7 (0.4)3.9 (0.4)3.2 (0.3)3.3 (0.3)0.78 (0.1)↑015/15
default-CMA-ES Gissler 1.2 (1)2.3 (0.6)3.3 (0.8)3.6 (0.6)2.8 (0.4)3.1 (0.3)0.73 (0.1)↑015/15
dm-CMA-ES Gissler 1.0 (1)2.6 (0.7)3.8 (0.9)3.9 (0.4)3.1 (0.4)3.3 (0.2)0.78 (0.1)↑015/15
m-SDWOA Espinoza 7.5 (5)22 (6)34 (4)34 (3)25 (2)24 (1)7.3 (0.8)10/15
s-CMA-ES Gissler 1.6 (2)2.7 (0.9)3.3 (1.0)3.7 (1.0)3.1 (0.4)3.2 (0.4)0.79 (0.1)↑015/15
sc-CMA-ES Gissler 1.1 (1)2.4 (0.8)3.4 (0.8)3.7 (0.8)3.1 (0.4)3.6 (0.3)0.94 (0.1)15/15
scd-CMA-ES Gissler 1.3 (1.0)2.7 (1)3.5 (1)3.8 (1)3.3 (0.8)3.7 (0.4)0.92 (0.1)15/15
scdm-CMA-ES Gissler 1.6 (1)2.9 (0.6)4.0 (1)4.1 (0.7)3.4 (0.6)3.7 (0.5)0.92 (0.1)15/15
sd-CMA-ES Gissler 1.3 (2)2.4 (0.7)3.4 (0.9)3.8 (0.8)3.0 (0.5)3.2 (0.2)0.79 (0.1)↑115/15
sdm-CMA-ES Gissler 0.95 (0.8)2.4 (1.0)3.6 (1)3.8 (0.6)3.1 (0.4)3.2 (0.4)0.78 (0.1)↑015/15

Δ fopt
f15, 10-D
1e1
4774
1e0
39246
1e-1
73643
1e-2
74669
1e-3
75790
1e-5
77814
1e-7
79834
#succ
12/15
BIRMIN Kudela 205 (279)5e50/15
DIRECT-REV Kudela 85 (137)5e50/15
E-WOA Espinoza 302 (230)1e50/15
I-DBDP-GL Kudela 5.5 (6)20 (27)101 (75)100 (117)99 (130)5e50/15
WOA Espinoza 1e50/15
a-CMA-ES Gissler 0.61 (0.4)↑10.99 (0.6)0.90 (0.7)0.91 (0.7)0.91 (0.7)0.93 (0.7)0.94 (0.7)15/15
ad-CMA-ES Gissler 1.1 (1.0)1.00 (0.6)0.84 (0.6)0.84 (0.6)0.85 (0.6)0.86 (0.6)0.87 (0.6)15/15
adm-CMA-ES Gissler 0.90 (0.5)0.69 (0.4)0.70 (0.3)↑00.70 (0.3)↑00.71 (0.3)↑10.72 (0.3)0.73 (0.3)15/15
c-CMA-ES Gissler 0.89 (0.5)1.1 (0.6)0.93 (0.5)0.94 (0.5)0.94 (0.5)0.95 (0.5)0.96 (0.5)15/15
cd-CMA-ES Gissler 0.86 (0.5)1.2 (0.7)0.90 (0.3)0.91 (0.3)0.91 (0.3)0.92 (0.3)0.93 (0.3)15/15
cdm-CMA-ES Gissler 0.90 (0.6)1.1 (0.3)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
cma-bp-bbob Brockhoff 1.2 (0.6)0.98 (0.3)0.91 (0.8)0.91 (0.6)0.91 (0.7)0.92 (0.8)0.92 (1.0)13/15
cma-bt-bbob Brockhoff 1.2 (1)2.5 (2)3.7 (4)3.7 (5)3.6 (2)3.6 (4)4.4 (4)4/15
d-CMA-ES Gissler 1.0 (0.6)1.1 (0.7)0.95 (0.7)0.96 (0.7)0.96 (0.7)0.97 (0.7)0.98 (0.7)15/15
default-CMA-ES Gissler 1.0 (0.7)1.2 (0.6)0.95 (0.7)0.96 (0.7)0.96 (0.7)0.97 (0.7)0.98 (0.7)15/15
dm-CMA-ES Gissler 0.78 (0.5)1.1 (0.8)0.76 (0.4)0.77 (0.4)0.77 (0.4)0.78 (0.4)0.79 (0.4)15/15
m-SDWOA Espinoza 30 (21)1e50/15
s-CMA-ES Gissler 0.97 (0.6)0.96 (0.3)0.76 (0.2)0.76 (0.2)0.76 (0.2)0.77 (0.2)0.78 (0.2)15/15
sc-CMA-ES Gissler 1.3 (1)0.88 (0.3)0.77 (0.4)0.77 (0.4)0.78 (0.4)0.79 (0.4)0.80 (0.4)15/15
scd-CMA-ES Gissler 1.3 (1)1.0 (0.7)0.81 (0.4)0.82 (0.4)0.82 (0.4)0.84 (0.4)0.85 (0.4)15/15
scdm-CMA-ES Gissler 1.5 (1)1.2 (0.7)0.82 (0.4)0.83 (0.4)0.83 (0.4)0.84 (0.4)0.85 (0.4)15/15
sd-CMA-ES Gissler 0.92 (0.6)1.1 (0.4)0.89 (0.3)0.90 (0.3)0.91 (0.3)0.92 (0.3)0.93 (0.2)15/15
sdm-CMA-ES Gissler 1.4 (1)1.0 (0.8)0.79 (0.4)0.80 (0.4)0.80 (0.4)0.81 (0.5)0.82 (0.5)15/15

Δ fopt
f16, 10-D
1e1
425
1e0
7029
1e-1
15779
1e-2
45669
1e-3
51151
1e-5
65798
1e-7
71570
#succ
15/15
BIRMIN Kudela 5.2 (5)14 (14)19 (18)16 (12)5e50/15
DIRECT-REV Kudela 5.2 (2)2.6 (2)4.2 (2)20 (19)144 (149)5e50/15
E-WOA Espinoza 29 (50)1e50/15
I-DBDP-GL Kudela 5.2 (2)1.7 (2)3.1 (3)3.6 (2)4.1 (2)5.8 (7)6.8 (5)10/15
WOA Espinoza 53 (118)1e50/15
a-CMA-ES Gissler 3.0 (5)0.71 (0.5)0.79 (0.3)↑10.51 (0.5)0.56 (0.4)↑10.46 (0.3)↑00.44 (0.3)↑015/15
ad-CMA-ES Gissler 1.5 (0.6)0.53 (0.4)↑10.85 (0.7)0.37 (0.3)↑00.56 (0.5)0.46 (0.4)↑10.44 (0.4)↑115/15
adm-CMA-ES Gissler 2.4 (0.7)0.67 (0.9)0.73 (0.8)0.46 (0.5)0.45 (0.4)0.38 (0.3)↑00.36 (0.3)↑015/15
c-CMA-ES Gissler 3.2 (1)0.91 (1)1.0 (0.4)1.0 (1)1.1 (1)0.94 (0.8)0.89 (0.8)15/15
cd-CMA-ES Gissler 4.7 (7)0.90 (0.5)1.0 (0.8)0.57 (0.6)0.55 (0.6)0.60 (0.4)0.58 (0.4)15/15
cdm-CMA-ES Gissler 2.6 (1)0.86 (0.5)0.95 (0.8)0.52 (0.3)↑10.55 (0.5)0.47 (0.4)↑00.45 (0.4)↑015/15
cma-bp-bbob Brockhoff 1.9 (0.9)0.48 (0.5)1.1 (1)0.72 (0.5)0.84 (0.5)0.72 (0.4)0.68 (0.4)14/15
cma-bt-bbob Brockhoff 3.7 (3)0.52 (0.7)1.1 (1)1.4 (2)1.7 (2)1.4 (2)1.3 (2)10/15
d-CMA-ES Gissler 2.1 (0.9)0.90 (0.5)1.2 (0.9)0.97 (1)1.1 (0.9)0.87 (0.8)0.83 (0.7)15/15
default-CMA-ES Gissler 2.4 (0.9)0.77 (0.9)0.83 (1)0.78 (0.6)0.86 (1.0)0.76 (0.8)0.72 (0.7)15/15
dm-CMA-ES Gissler 2.5 (2)0.64 (0.5)0.91 (0.7)0.78 (0.9)0.86 (0.8)0.69 (0.7)0.66 (0.6)15/15
m-SDWOA Espinoza 20 (14)213 (359)1e50/15
s-CMA-ES Gissler 2.7 (2)0.71 (0.5)1.2 (0.8)0.78 (0.5)0.72 (0.4)0.74 (0.7)0.70 (0.6)15/15
sc-CMA-ES Gissler 3.1 (2)0.93 (0.5)1.5 (0.8)0.93 (1.0)0.85 (0.9)0.71 (0.7)0.68 (0.7)15/15
scd-CMA-ES Gissler 3.9 (2)0.99 (1)1.2 (1.0)0.88 (0.6)0.81 (0.5)0.66 (0.4)0.63 (0.4)15/15
scdm-CMA-ES Gissler 3.0 (1)1.0 (0.9)1.5 (0.9)0.61 (0.4)0.72 (0.5)0.67 (0.4)0.64 (0.4)↑115/15
sd-CMA-ES Gissler 4.0 (6)0.91 (1)0.95 (1)0.79 (0.5)0.79 (0.5)0.65 (0.4)0.66 (0.4)15/15
sdm-CMA-ES Gissler 2.7 (1)0.90 (0.5)0.79 (0.6)0.68 (0.5)0.73 (0.4)0.61 (0.3)↑10.58 (0.3)↑115/15

Δ fopt
f17, 10-D
1e1
26
1e0
429
1e-1
2203
1e-2
6329
1e-3
9851
1e-5
20190
1e-7
26503
#succ
15/15
BIRMIN Kudela 1.6 (1)12 (6)25 (30)126 (172)5e50/15
DIRECT-REV Kudela 5.4 (10)8.6 (3)8.2 (4)73 (65)5e50/15
E-WOA Espinoza 3.6 (5)1554 (3255)1e50/15
I-DBDP-GL Kudela 0.93 (0.7)8.7 (4)8.5 (5)11 (7)16 (10)41 (28)5e50/15
WOA Espinoza 2.9 (4)1e50/15
a-CMA-ES Gissler 0.61 (0.6)0.78 (0.2)↑10.87 (1)1.1 (1)1.3 (0.5)0.88 (0.6)1.1 (0.4)15/15
ad-CMA-ES Gissler 0.65 (0.8)0.96 (0.4)1.0 (2)0.91 (0.6)0.98 (0.8)0.84 (0.3)1.1 (0.4)15/15
adm-CMA-ES Gissler 0.79 (0.8)0.91 (0.2)0.82 (1)1.1 (1)1.1 (0.8)1.1 (0.7)1.2 (0.4)15/15
c-CMA-ES Gissler 0.55 (0.7)0.89 (0.2)0.42 (0.1)↑01.0 (1)1.1 (0.9)1.3 (1)1.3 (0.6)15/15
cd-CMA-ES Gissler 0.54 (0.8)1.1 (0.4)1.7 (2)1.5 (1)1.2 (0.5)0.99 (0.4)1.1 (0.4)15/15
cdm-CMA-ES Gissler 0.79 (1)1.1 (0.5)1.4 (3)1.1 (1)1.2 (0.7)1.1 (0.6)1.5 (0.5)15/15
cma-bp-bbob Brockhoff 0.74 (0.7)1.0 (0.4)0.46 (0.2)↑01.1 (0.7)1.1 (0.9)1.1 (0.5)1.1 (0.4)15/15
cma-bt-bbob Brockhoff 0.77 (0.6)1.1 (0.2)0.46 (0.1)↑01.2 (2)1.5 (1)1.3 (0.9)1.2 (0.5)15/15
d-CMA-ES Gissler 0.43 (0.5)↑11.1 (0.4)0.63 (0.1)↑10.44 (0.6)0.93 (0.9)0.92 (0.3)1.1 (0.7)15/15
default-CMA-ES Gissler 0.94 (1)0.92 (0.3)0.90 (2)1.1 (1)1.3 (0.7)0.88 (0.3)0.91 (0.3)15/15
dm-CMA-ES Gissler 0.67 (1.0)0.91 (0.2)0.49 (0.3)↑00.70 (0.6)0.96 (0.9)0.94 (0.4)1.4 (0.8)15/15
m-SDWOA Espinoza 3.2 (3)10 (2)5.2 (0.3)3.2 (0.2)3.0 (0.2)2.4 (0.1)2.8 (0.1)14/15
s-CMA-ES Gissler 0.79 (1)0.98 (0.5)0.81 (1)0.57 (0.5)0.80 (0.4)0.94 (0.2)0.93 (0.5)15/15
sc-CMA-ES Gissler 0.57 (1.0)1.2 (0.4)1.1 (2)1.5 (1)1.4 (0.7)1.1 (0.5)1.1 (0.4)15/15
scd-CMA-ES Gissler 0.54 (0.7)1.0 (0.3)1.1 (2)0.85 (0.8)0.97 (0.6)0.97 (0.5)1.2 (0.7)15/15
scdm-CMA-ES Gissler 1.00 (1)2.1 (0.8)0.91 (2)0.84 (0.7)0.87 (0.5)1.0 (0.4)1.2 (0.7)15/15
sd-CMA-ES Gissler 0.52 (0.6)0.76 (0.2)↑10.41 (0.1)↑00.51 (0.6)0.86 (0.8)1.1 (0.8)1.1 (0.4)15/15
sdm-CMA-ES Gissler 0.58 (0.6)1.1 (0.4)0.80 (1)0.88 (0.6)1.0 (0.9)1.1 (0.7)1.5 (0.5)15/15

Δ fopt
f18, 10-D
1e1
238
1e0
836
1e-1
7012
1e-2
15928
1e-3
27536
1e-5
37234
1e-7
42708
#succ
15/15
BIRMIN Kudela 6.3 (6)24 (20)36 (39)218 (298)5e50/15
DIRECT-REV Kudela 5.8 (5)13 (5)6.8 (4)66 (48)5e50/15
E-WOA Espinoza 169 (214)1e50/15
I-DBDP-GL Kudela 4.5 (3)15 (6)10 (8)18 (16)39 (62)5e50/15
WOA Espinoza 394 (669)1e50/15
a-CMA-ES Gissler 0.87 (0.3)1.4 (0.2)0.69 (0.5)0.78 (0.3)0.65 (0.4)0.75 (0.2)↑00.76 (0.2)↑015/15
ad-CMA-ES Gissler 0.75 (0.3)0.79 (0.2)↑10.54 (0.7)1.0 (1.0)0.83 (0.3)0.86 (0.3)0.95 (0.3)15/15
adm-CMA-ES Gissler 0.95 (0.4)2.2 (0.6)0.99 (1)0.99 (0.7)0.95 (0.4)0.93 (0.3)0.90 (0.2)↑115/15
c-CMA-ES Gissler 0.89 (0.4)3.5 (0.3)1.3 (2)1.3 (0.8)1.1 (0.6)0.98 (0.6)0.98 (0.5)15/15
cd-CMA-ES Gissler 0.79 (0.3)1.0 (0.4)0.99 (1)0.74 (0.7)0.65 (0.3)↑10.80 (0.4)0.86 (0.4)15/15
cdm-CMA-ES Gissler 0.82 (0.4)0.96 (0.4)0.72 (1)1.2 (0.7)0.99 (0.5)0.92 (0.4)0.95 (0.3)15/15
cma-bp-bbob Brockhoff 0.79 (0.3)0.88 (0.3)0.64 (0.9)0.97 (0.7)0.75 (0.4)0.78 (0.3)0.83 (0.3)15/15
cma-bt-bbob Brockhoff 1.2 (0.6)1.1 (0.3)1.3 (2)1.6 (1.0)1.3 (0.7)1.1 (0.5)1.2 (1)13/15
d-CMA-ES Gissler 0.95 (0.3)1.0 (0.2)0.86 (0.8)0.70 (0.6)0.74 (0.5)0.75 (0.5)0.99 (0.4)15/15
default-CMA-ES Gissler 0.95 (0.5)1.6 (0.6)1.3 (1)1.0 (0.5)0.82 (0.3)↑10.86 (0.6)0.98 (0.6)15/15
dm-CMA-ES Gissler 0.87 (0.4)1.6 (0.4)1.1 (1)0.73 (0.5)0.69 (0.3)↑10.73 (0.3)0.81 (0.3)15/15
m-SDWOA Espinoza 7.0 (2)10 (2)2.7 (0.5)2.8 (3)2.0 (2)2.2 (1)2.5 (1)12/15
s-CMA-ES Gissler 1.1 (0.7)0.88 (0.3)0.78 (1)0.94 (0.6)0.83 (0.6)0.79 (0.3)0.80 (0.3)15/15
sc-CMA-ES Gissler 1.1 (0.5)1.9 (0.6)1.6 (3)1.3 (1)0.90 (0.8)0.98 (0.7)1.2 (0.6)15/15
scd-CMA-ES Gissler 1.00 (0.3)1.6 (0.2)0.72 (0.6)0.92 (0.5)0.70 (0.6)0.82 (0.4)1.0 (0.4)15/15
scdm-CMA-ES Gissler 0.88 (0.4)1.0 (0.3)0.64 (0.5)0.86 (0.5)0.80 (0.6)0.78 (0.4)0.87 (0.3)15/15
sd-CMA-ES Gissler 1.1 (0.6)1.6 (1)0.91 (1)0.88 (0.4)0.59 (0.3)↑10.65 (0.4)0.81 (0.3)15/15
sdm-CMA-ES Gissler 0.83 (0.3)0.92 (0.4)