Overview page

Table showing the ERT in number of evaluations divided by the best ERT of the reference algorithm

Last dimension | Dimension = 2 | Next dimension

Δ fopt
f1, 2-D
1e1
2.0
1e0
6.0
1e-1
6.0
1e-2
6.0
1e-3
6.0
1e-5
6.0
1e-7
6.0
#succ
15/15
ALPS hornby 2.5 (2)9.2 (9)53 (53)171 (83)289 (122)635 (105)969 (111)15/15
AMALGAM bosman 1.9 (1)4.1 (2)10 (4)14 (6)23 (5)32 (5)46 (10)15/15
BAYEDA gallagher 1.7 (2)4.0 (4)17 (11)79 (21)106 (28)158 (29)208 (40)14/15
BFGS ros 3.0 (0.8)1.1 (0)1.2 (0)1.2 (0)1.2 (0)1.2 (0)1.2 (0)15/15
BIPOP-CMA-ES hansen 2.9 (4)3.6 (3)8.1 (5)13 (6)19 (5)29 (6)39 (8)15/15
CMA-ESPLUSSEL auger 3.0 (3)3.4 (3)7.2 (4)11 (4)14 (5)22 (5)29 (6)30/30
Cauchy-EDA posik 17 (24)14 (11)26 (14)39 (22)50 (24)75 (30)101 (23)15/15
DASA korosec 35 (39)21 (18)41 (20)52 (24)62 (34)95 (38)124 (41)15/15
DE-PSO garcia-nieto 1.9 (1)11 (10)25 (19)46 (20)51 (24)125 (13)168 (11)15/15
DIRECT posik 0.90 (0.5)1.3 (0.9)2.3 (3)9.4 (2)15 (2)32 (4)56 (10)5/5
EDA-PSO el-abd 1.7 (1)4.7 (4)19 (7)34 (14)53 (20)111 (34)212 (94)15/15
FULLNEWUOA ros 2.4 (2)1.1 (0)1.2 (0)1.2 (0)1.2 (0)1.2 (0)1.2 (0)15/15
G3PCX posik 1.7 (2)5.6 (5)16 (8)19 (2)24 (4)34 (3)46 (8)15/15
GA nicolau 2.5 (2)6.8 (4)59 (94)310 (232)1077 (392)2600 (673)4460 (1255)15/15
GLOBAL pal 1.7 (2)5.4 (6)37 (19)50 (4)54 (0.2)56 (0.4)58 (0.4)15/15
IPOP-SEP-CMA-ES ros 3.5 (4)5.6 (5)9.0 (5)14 (4)18 (5)28 (5)38 (8)15/15
LSfminbnd posik 7.0 (7)3.0 (2)3.4 (2)4.1 (2)4.1 (2)4.1 (2)4.1 (2)15/15
LSstep posik 41 (100)32 (33)59 (33)63 (0.2)68 (0.1)69 (0.2)69 (0.2)15/15
MA-LS-CHAIN molina 2.1 (2)7.0 (7)24 (15)40 (18)67 (25)92 (6)101 (8)15/15
MCS huyer 0.90 (0.5)1.4 (1)2.0 (1)2.6 (1)2.6 (1)2.6 (1)2.6 (1)15/15
NELDERDOERR doerr 0.93 (0.8)1.4 (0.8)2.7 (0.6)4.1 (0.7)5.3 (0.4)7.6 (0.8)10 (0.8)15/15
NELDER hansen 1.9 (1)1.2 (0.7)2.8 (0.7)3.9 (0.5)5.1 (0.7)7.4 (0.8)10 (0.6)15/15
NEWUOA ros 2.5 (1)0.94 (0)0.94 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)15/15
ONEFIFTH auger 3.1 (3)2.6 (2)6.4 (4)10 (3)14 (3)23 (4)30 (4)15/15
POEMS kubalik 156 (114)75 (31)107 (61)396 (310)679 (273)1322 (317)2069 (501)15/15
PSO Bounds el-abd 2.1 (2)5.7 (5)24 (17)89 (102)271 (132)774 (261)1223 (281)15/15
PSO el-abd 1.9 (2)5.0 (6)19 (13)59 (15)118 (55)255 (72)472 (122)15/15
RANDOMSEARCH auger 1.3 (0.8)9.2 (12)46 (57)540 (800)5943 (3556)6.8e5 (8e5)2e60/15
Rosenbrock posik 5.0 (4)3.0 (1)3.7 (2)4.9 (2)6.2 (2)8.8 (2)11 (2)15/15
VNS garcia-martinez 2.3 (1)8.4 (11)23 (12)33 (4)37 (5)48 (6)60 (6)15/15
iAMALGAM bosman 2.1 (2)3.6 (2)6.4 (4)12 (5)14 (5)22 (5)31 (7)15/15

Δ fopt
f2, 2-D
1e1
16
1e0
19
1e-1
25
1e-2
25
1e-3
26
1e-5
28
1e-7
29
#succ
15/15
ALPS hornby 59 (45)122 (23)128 (34)164 (31)203 (42)258 (38)325 (38)15/15
AMALGAM bosman 6.4 (2)7.5 (4)7.4 (3)9.2 (2)10 (3)13 (4)15 (3)15/15
BAYEDA gallagher 82 (129)78 (159)81 (84)89 (123)111 (82)139 (145)141 (74)9/15
BFGS ros 2.6 (2)4.0 (2)3.7 (0.8)4.0 (1)4.0 (1)4.1 (1)4.3 (1)15/15
BIPOP-CMA-ES hansen 13 (12)19 (9)17 (4)18 (3)19 (4)20 (3)22 (3)15/15
CMA-ESPLUSSEL auger 10 (8)13 (7)13 (2)13 (2)14 (2)15 (2)16 (2)30/30
Cauchy-EDA posik 18 (16)18 (15)18 (8)20 (10)23 (9)25 (7)29 (6)15/15
DASA korosec 19 (12)21 (11)21 (6)22 (5)23 (6)26 (8)30 (6)15/15
DE-PSO garcia-nieto 18 (11)26 (6)26 (4)31 (5)35 (7)45 (5)52 (4)15/15
DIRECT posik 7.6 (2)7.9 (1)7.0 (1)8.6 (1)9.4 (1)13 (8)46 (52)5/5
EDA-PSO el-abd 14 (6)19 (4)20 (5)26 (11)38 (13)65 (16)87 (14)15/15
FULLNEWUOA ros 2.4 (2)5.8 (5)8.2 (6)11 (6)13 (8)18 (8)23 (12)15/15
G3PCX posik 14 (11)64 (55)68 (50)77 (56)82 (55)82 (54)81 (52)15/15
GA nicolau 136 (149)324 (197)416 (188)547 (189)776 (215)1260 (244)1868 (526)15/15
GLOBAL pal 19 (0.4)17 (0.3)13 (0.2)14 (0.3)13 (0.3)13 (0.2)13 (0.2)15/15
IPOP-SEP-CMA-ES ros 14 (10)19 (6)15 (4)17 (3)18 (4)18 (3)20 (3)15/15
LSfminbnd posik 1.0 (1.0)1.00 (0.8)0.99 (0.5)1.0 (0.4)0.99 (0.4)1 (0.4)0.99 (0.4)15/15
LSstep posik 10 (12)10 (11)7.8 (7)8.0 (7)7.7 (6)7.3 (6)7.2 (6)15/15
MA-LS-CHAIN molina 17 (5)21 (4)20 (7)25 (9)28 (7)29 (5)33 (13)15/15
MCS huyer 1.4 (0.6)1.8 (0.3)1.7 (1)2.6 (0.7)3.1 (0.7)3.7 (0.8)24 (33)15/15
NELDERDOERR doerr 1.7 (0.4)1.9 (0.2)1.7 (0.1)2.0 (0.1)2.1 (0.2)2.5 (0.2)3.0 (0.2)15/15
NELDER hansen 1.7 (0.4)1.8 (0.6)1.7 (0.4)2.1 (0.5)2.2 (0.3)2.6 (0.3)3.0 (0.4)15/15
NEWUOA ros 2.3 (1)8.8 (6)12 (7)15 (8)19 (9)26 (9)34 (13)15/15
ONEFIFTH auger 8873 (1e4)4.6e4 (4e4)1.2e5 (9e4)3.8e5 (5e5)2e60/15
POEMS kubalik 385 (138)419 (117)390 (100)471 (144)510 (146)631 (122)770 (96)15/15
PSO Bounds el-abd 56 (57)173 (343)303 (230)361 (206)400 (179)531 (181)774 (275)15/15
PSO el-abd 57 (48)82 (46)82 (28)99 (31)117 (23)156 (27)193 (29)15/15
RANDOMSEARCH auger 250 (184)1212 (1595)5573 (5137)1.0e5 (1e5)2e60/15
Rosenbrock posik 2.6 (0.7)3.7 (3)4.3 (3)5.5 (3)6.2 (2)6.9 (1)7.8 (2)15/15
VNS garcia-martinez 22 (14)27 (10)24 (4)26 (4)26 (4)26 (4)28 (4)15/15
iAMALGAM bosman 5.3 (3)9.2 (5)9.0 (4)10 (4)11 (4)12 (4)14 (5)15/15

Δ fopt
f3, 2-D
1e1
15
1e0
271
1e-1
445
1e-2
446
1e-3
450
1e-5
454
1e-7
464
#succ
15/15
ALPS hornby 9.0 (14)6.7 (4)6.4 (4)11 (5)12 (5)19 (4)23 (3)15/15
AMALGAM bosman 3.7 (3)4.6 (13)12 (9)12 (10)12 (10)13 (10)13 (10)15/15
BAYEDA gallagher 4.3 (3)4.0 (3)10 (8)18 (25)41 (58)65 (64)64 (67)1/15
BFGS ros 14 (12)3.1 (3)10 (14)10 (8)10 (8)10 (13)10 (15)10/15
BIPOP-CMA-ES hansen 3.4 (3)3.5 (3)5.2 (5)6.2 (7)6.4 (8)6.5 (8)6.7 (7)15/15
CMA-ESPLUSSEL auger 6.7 (16)3.8 (3)7.9 (8)7.9 (8)7.9 (7)7.9 (7)7.8 (7)30/30
Cauchy-EDA posik 9.3 (8)3.3 (3)8.4 (12)33 (24)43 (54)43 (54)43 (52)15/15
DASA korosec 18 (18)1.8 (0.9)6.9 (13)7.0 (13)7.1 (13)7.4 (13)7.6 (12)15/15
DE-PSO garcia-nieto 5.5 (7)2.3 (1)2.7 (1)4.0 (1)4.5 (2)5.4 (1)6.4 (1)15/15
DIRECT posik 2.6 (1)1.0 (0.5)2.4 (2)2.4 (2)2.5 (2)2.7 (2)3.0 (2)5/5
EDA-PSO el-abd 4.7 (5)6.4 (6)14 (8)19 (2)20 (2)21 (2)22 (2)15/15
FULLNEWUOA ros 2.3 (3)1.8 (2)2.2 (2)2.2 (2)2.2 (2)2.1 (2)2.1 (2)15/15
G3PCX posik 4.0 (4)7.8 (14)40 (40)40 (40)39 (40)39 (39)39 (38)15/15
GA nicolau 8.1 (13)13 (8)19 (6)27 (11)40 (16)70 (12)108 (17)15/15
GLOBAL pal 6.9 (10)1.8 (0.9)3.1 (4)3.1 (4)3.1 (3)3.1 (3)3.1 (3)9/15
IPOP-SEP-CMA-ES ros 2.3 (1)3.4 (3)7.6 (11)8.5 (11)9.2 (15)10 (16)10 (15)15/15
LSfminbnd posik 17 (19)32 (36)43 (94)64 (75)63 (90)63 (84)61 (75)3/15
LSstep posik 24 (12)1.5 (0.1)1 (0.0)1.0 (0.1)1.0 (0.0)1.0 (0.0)1.00 (0.1)15/15
MA-LS-CHAIN molina 5.5 (3)1.7 (0.6)2.5 (1)2.6 (1)2.7 (1)2.8 (1)2.9 (1)15/15
MCS huyer 1.5 (0.5)1.1 (1)1.5 (0.6)1.6 (0.6)1.6 (0.6)2.6 (3)2.6 (3)15/15
NELDERDOERR doerr 0.98 (0.5)1.00 (1)1.7 (2)1.8 (2)1.8 (2)1.8 (2)1.8 (2)15/15
NELDER hansen 1.4 (1.0)4.0 (3)13 (15)13 (15)13 (15)12 (15)12 (14)15/15
NEWUOA ros 4.7 (6)1.5 (2)4.2 (3)4.2 (3)4.2 (3)4.1 (3)4.1 (3)14/15
ONEFIFTH auger 11 (18)5.0 (6)15 (18)15 (18)15 (18)15 (18)14 (17)15/15
POEMS kubalik 41 (15)10 (4)14 (6)20 (4)24 (4)32 (2)41 (4)15/15
PSO Bounds el-abd 4.6 (6)5.3 (4)8.3 (5)14 (5)18 (4)26 (7)34 (8)15/15
PSO el-abd 5.0 (5)3.3 (2)3.4 (2)4.7 (1)6.0 (2)8.8 (2)11 (2)15/15
RANDOMSEARCH auger 14 (11)67 (58)464 (706)3101 (2590)2.1e4 (2e4)2e60/15
Rosenbrock posik 44 (47)15 (14)26 (33)26 (30)26 (37)26 (40)25 (34)10/15
VNS garcia-martinez 8.6 (4)2.9 (3)4.1 (7)4.2 (7)4.2 (7)4.7 (7)7.7 (7)15/15
iAMALGAM bosman 1.7 (1)6.3 (7)17 (33)17 (32)17 (32)17 (33)17 (32)15/15

Δ fopt
f4, 2-D
1e1
22
1e0
344
1e-1
459
1e-2
496
1e-3
523
1e-5
544
1e-7
566
#succ
15/15
ALPS hornby 8.9 (11)7.1 (4)8.3 (3)10 (3)12 (2)17 (1)20 (3)15/15
AMALGAM bosman 2.6 (2)5.6 (11)51 (100)48 (94)48 (91)47 (87)45 (86)15/15
BAYEDA gallagher 4.4 (6)13 (15)62 (98)117 (91)112 (78)40000/15
BFGS ros 11 (11)5.7 (5)12 (13)11 (10)11 (9)10 (9)10 (11)9/15
BIPOP-CMA-ES hansen 2.6 (1)6.9 (8)55 (54)97 (149)99 (148)99 (148)106 (200)15/15
CMA-ESPLUSSEL auger 5.9 (6)5.7 (8)26 (39)24 (26)23 (25)22 (21)21 (26)45/60
Cauchy-EDA posik 6.7 (7)13 (14)75 (79)405 (492)468 (456)450 (600)433 (427)5/15
DASA korosec 15 (10)2.0 (1)3.6 (5)3.4 (4)3.3 (4)3.4 (4)3.4 (4)15/15
DE-PSO garcia-nieto 7.2 (3)4.2 (1)6.5 (5)11 (5)17 (14)17 (15)35 (32)0/15
DIRECT posik 1.8 (1)1.8 (2)6.6 (10)6.1 (9)14 (19)16 (17)16 (16)5/5
EDA-PSO el-abd 4.2 (4)10 (9)18 (5)19 (2)19 (2)19 (2)20 (2)15/15
FULLNEWUOA ros 5.3 (7)3.9 (5)15 (19)14 (17)13 (21)13 (18)12 (15)12/15
G3PCX posik 20 (47)17 (16)76 (73)70 (68)67 (64)64 (62)62 (59)14/15
GA nicolau 10 (11)16 (6)22 (9)28 (5)37 (11)60 (13)105 (21)15/15
GLOBAL pal 8.4 (6)1.2 (0.7)5.2 (9)4.8 (6)4.6 (6)4.5 (5)4.3 (4)7/15
IPOP-SEP-CMA-ES ros 3.0 (2)8.6 (12)75 (72)178 (210)267 (299)258 (251)249 (332)2/15
LSfminbnd posik 0.99 (0.2)45 (43)119 (151)226 (293)71240/15
LSstep posik 19 (0.2)1.3 (0.0)1.0 (0.1)1.0 (0.2)1.00 (0.2)1.00 (0.2)1.00 (0.2)15/15
MA-LS-CHAIN molina 5.5 (4)1.8 (0.8)4.4 (3)4.2 (3)4.1 (3)4.1 (3)4.1 (3)15/15
MCS huyer 2.0 (2)1.00 (0.8)2.9 (2)2.7 (2)2.7 (2)2.7 (1)2.6 (1)15/15
NELDERDOERR doerr 1.9 (2)1.4 (2)3.5 (3)3.2 (3)3.1 (3)3.0 (2)3.0 (2)15/15
NELDER hansen 5.0 (11)5.3 (7)27 (30)25 (28)24 (26)23 (25)22 (24)15/15
NEWUOA ros 5.0 (5)4.5 (5)18 (23)16 (18)16 (18)15 (15)14 (15)10/15
ONEFIFTH auger 4.5 (10)5.5 (6)23 (26)21 (24)20 (23)20 (22)19 (21)15/15
POEMS kubalik 36 (15)10 (4)22 (7)23 (2)29 (4)35 (4)41 (3)15/15
PSO Bounds el-abd 4.4 (4)6.3 (4)10 (4)17 (6)21 (6)27 (10)33 (11)15/15
PSO el-abd 4.0 (3)3.3 (3)4.6 (3)5.6 (3)6.4 (3)8.7 (3)11 (3)15/15
RANDOMSEARCH auger 8.6 (13)67 (99)617 (961)8201 (1e4)2.8e4 (4e4)2e60/15
Rosenbrock posik 26 (32)15 (18)52 (40)48 (67)46 (71)44 (49)42 (40)7/15
VNS garcia-martinez 5.0 (4)4.1 (5)8.8 (12)8.2 (11)7.9 (10)8.8 (10)17 (20)15/15
iAMALGAM bosman 2.5 (2)9.5 (9)61 (56)57 (57)56 (54)55 (55)54 (53)15/15

Δ fopt
f5, 2-D
1e1
4.0
1e0
4.0
1e-1
4.0
1e-2
4.0
1e-3
4.0
1e-5
4.0
1e-7
4.0
#succ
15/15
ALPS hornby 8.0 (4)83 (34)110 (15)114 (41)114 (41)114 (41)114 (41)15/15
AMALGAM bosman 4.9 (6)18 (8)20 (9)20 (9)20 (9)20 (9)20 (9)15/15
BAYEDA gallagher 3.0 (3)101 (30)112 (52)113 (62)113 (62)113 (62)113 (62)14/15
BFGS ros 1.4 (0.4)3.1 (0.4)3.1 (0.4)3.1 (0)3.1 (0)3.1 (0)3.1 (0)15/15
BIPOP-CMA-ES hansen 3.1 (2)5.9 (3)6.3 (4)6.4 (4)6.4 (4)6.4 (4)6.4 (4)15/15
CMA-ESPLUSSEL auger 1.7 (1)3.4 (2)3.8 (2)3.8 (2)3.8 (2)3.8 (2)3.8 (2)15/15
Cauchy-EDA posik 15 (10)18 (12)19 (12)19 (12)19 (12)19 (12)19 (12)15/15
DASA korosec 18 (15)35 (12)44 (14)51 (12)58 (16)73 (15)88 (16)15/15
DE-PSO garcia-nieto 5.6 (6)38 (14)39 (14)40 (14)40 (14)40 (14)40 (14)15/15
DIRECT posik 3.1 (0.1)3.1 (0.1)4.7 (0.1)4.7 (0.1)4.7 (0.1)4.7 (0.1)4.7 (0.1)5/5
EDA-PSO el-abd 4.6 (5)16 (6)18 (6)19 (6)19 (6)19 (6)19 (6)15/15
FULLNEWUOA ros 0.92 (0.5)1.3 (0.4)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)15/15
G3PCX posik 3.8 (4)32 (10)34 (14)34 (14)34 (14)34 (14)34 (14)15/15
GA nicolau 3.9 (5)336 (308)2152 (431)4672 (684)6958 (1521)1.7e4 (3013)7.5e5 (8e5)0/15
GLOBAL pal 4.0 (4)76 (0.6)77 (0.5)77 (0.5)77 (0.5)77 (0.5)77 (0.5)15/15
IPOP-SEP-CMA-ES ros 3.6 (4)7.3 (4)7.8 (4)7.8 (4)7.8 (4)7.8 (4)7.8 (4)15/15
LSfminbnd posik 4.5 (4)8.0 (4)9.3 (0.1)10 (0)10 (0)10 (0)10 (0)15/15
LSstep posik 54 (50)87 (50)100 (0.1)100 (0.1)100 (0.1)100 (0.1)100 (0.1)15/15
MA-LS-CHAIN molina 4.3 (4)89 (27)136 (12)139 (11)139 (11)139 (11)139 (11)15/15
MCS huyer 1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15
NELDERDOERR doerr 1.1 (0.4)2.1 (0.9)2.1 (0.9)2.1 (0.9)2.1 (0.9)2.1 (0.9)2.1 (0.9)15/15
NELDER hansen 1.6 (0.5)2.3 (0.9)2.4 (0.9)2.4 (0.9)2.4 (0.9)2.4 (0.9)2.4 (0.9)15/15
NEWUOA ros 1 (0.2)1.6 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)15/15
ONEFIFTH auger 1.8 (1)2.6 (2)2.7 (1)2.8 (1)2.8 (1)2.8 (1)2.8 (1)15/15
POEMS kubalik 126 (28)170 (59)190 (97)199 (98)204 (98)204 (98)204 (98)15/15
PSO Bounds el-abd 5.5 (5)14 (5)17 (5)17 (5)17 (5)17 (5)17 (5)15/15
PSO el-abd 3.8 (4)19 (10)23 (8)23 (7)23 (7)23 (7)23 (7)15/15
RANDOMSEARCH auger 4.0 (4)582 (1094)5.4e4 (6e4)2e60/15
Rosenbrock posik 3.2 (1)3.7 (0.9)3.8 (0.8)3.8 (0.8)3.8 (0.8)3.8 (0.8)3.8 (0.8)15/15
VNS garcia-martinez 5.8 (6)29 (2)30 (3)30 (3)30 (3)30 (3)30 (3)15/15
iAMALGAM bosman 4.2 (3)14 (6)14 (6)14 (6)14 (6)14 (6)14 (6)15/15

Δ fopt
f6, 2-D
1e1
13
1e0
23
1e-1
41
1e-2
54
1e-3
67
1e-5
95
1e-7
124
#succ
15/15
ALPS hornby 2.2 (2)12 (16)31 (21)50 (19)62 (16)79 (15)83 (11)15/15
AMALGAM bosman 2.1 (3)4.5 (3)4.9 (2)5.5 (2)6.2 (2)6.7 (2)7.1 (2)15/15
BAYEDA gallagher 1.5 (2)163 (180)640 (1096)40000/15
BFGS ros 4.1 (4)3.3 (2)2.7 (1)2.3 (0.9)2.0 (0.6)1.7 (0.6)1.6 (0.6)15/15
BIPOP-CMA-ES hansen 2.0 (3)2.8 (3)3.6 (2)3.9 (1)4.2 (0.9)4.1 (0.6)4.3 (0.5)15/15
CMA-ESPLUSSEL auger 2.1 (2)2.9 (2)2.3 (1)2.2 (0.8)2.2 (0.8)2.2 (0.4)2.1 (0.5)15/15
Cauchy-EDA posik 15 (14)18 (20)17 (10)17 (8)17 (5)16 (5)16 (3)15/15
DASA korosec 22 (19)22 (20)18 (10)19 (9)19 (9)18 (8)18 (7)15/15
DE-PSO garcia-nieto 3.7 (5)10 (6)12 (1.0)14 (4)14 (2)16 (2)17 (3)15/15
DIRECT posik 1.3 (2)7.5 (10)5.8 (6)124 (118)801 (896)1226 (1102)975 (683)3/5
EDA-PSO el-abd 3.1 (2)12 (8)12 (6)15 (6)19 (9)29 (9)34 (10)15/15
FULLNEWUOA ros 3.3 (7)3.7 (4)3.2 (2)3.5 (2)3.7 (2)4.1 (3)4.5 (2)15/15
G3PCX posik 2.2 (2)4.4 (2)3.7 (1)3.9 (1)3.9 (1)3.8 (1)4.1 (1)15/15
GA nicolau 3.4 (4)13 (20)85 (80)1000 (1878)3073 (3769)3568 (3200)4909 (4947)3/15
GLOBAL pal 2.2 (2)8.7 (6)7.4 (0.2)6.1 (0.2)5.2 (0.1)3.9 (0.1)3.2 (0.1)12/15
IPOP-SEP-CMA-ES ros 1.7 (2)4.0 (3)3.8 (1)4.5 (2)4.6 (2)4.6 (2)4.4 (1)15/15
LSfminbnd posik 276 (548)371 (440)289 (613)257 (372)210 (227)153 (213)121 (205)9/15
LSstep posik 890 (1577)574 (910)375 (407)330 (370)709 (919)2e40/15
MA-LS-CHAIN molina 2.2 (2)13 (9)14 (8)14 (4)12 (3)10 (5)10 (4)15/15
MCS huyer 51 (104)29 (58)19 (35)42 (49)102 (193)102 (216)117 (303)12/15
NELDERDOERR doerr 1.2 (0.8)1.3 (0.3)1 (0.2)1.00 (0.1)1 (0.1)1.00 (0.1)1.0 (0.1)15/15
NELDER hansen 0.97 (0.7)0.99 (0.3)1.1 (0.3)1.1 (0.2)1.1 (0.2)1.1 (0.3)1.1 (0.3)15/15
NEWUOA ros 4.3 (4)4.6 (3)3.9 (3)4.4 (3)4.7 (2)4.9 (3)4.9 (2)15/15
ONEFIFTH auger 2.5 (2)3.7 (2)3.6 (2)3.6 (2)3.4 (2)3.3 (2)3.2 (1)15/15
POEMS kubalik 96 (92)132 (96)117 (78)137 (25)134 (29)181 (45)180 (22)15/15
PSO Bounds el-abd 2.5 (3)7.0 (5)37 (18)77 (26)133 (117)135 (70)167 (116)15/15
PSO el-abd 2.1 (2)4.5 (4)7.9 (8)18 (7)23 (5)32 (5)36 (6)15/15
RANDOMSEARCH auger 2.7 (2)16 (21)53 (50)780 (938)1.3e4 (1e4)1.5e5 (2e5)2e60/15
Rosenbrock posik 2.1 (1)2.1 (3)1.8 (2)1.8 (1)1.8 (1)1.7 (0.7)1.5 (0.5)15/15
VNS garcia-martinez 1.9 (2)7.1 (5)6.9 (2)6.6 (2)6.3 (2)6.0 (1)5.7 (0.9)15/15
iAMALGAM bosman 2.4 (1)3.6 (2)3.8 (2)4.0 (2)4.1 (2)4.3 (2)4.4 (1)15/15

Δ fopt
f7, 2-D
1e1
3.0
1e0
21
1e-1
60
1e-2
193
1e-3
217
1e-5
217
1e-7
241
#succ
15/15
ALPS hornby 4.4 (4)4.8 (6)12 (12)9.5 (4)11 (5)11 (5)13 (4)15/15
AMALGAM bosman 3.7 (5)20 (1)8.2 (0.7)2.7 (0.3)2.5 (0.3)2.5 (0.3)2.4 (0.2)15/15
BAYEDA gallagher 4.5 (6)3.2 (3)80 (85)85 (68)76 (55)76 (78)109 (162)1/15
BFGS ros 11 (14)19 (19)34 (31)3000/15
BIPOP-CMA-ES hansen 3.5 (2)2.6 (3)3.4 (3)1.5 (0.9)1.5 (0.9)1.5 (0.9)1.6 (0.9)15/15
CMA-ESPLUSSEL auger 2.9 (3)1.9 (2)2.8 (3)1.0 (1.0)1.00 (0.8)1.00 (0.8)1.0 (0.8)15/15
Cauchy-EDA posik 20 (17)7.7 (5)5.4 (6)2.0 (2)1.9 (2)1.9 (2)2.1 (2)15/15
DASA korosec 182 (298)170 (182)311 (358)243 (196)435 (437)435 (437)392 (394)15/15
DE-PSO garcia-nieto 6.9 (8)4.9 (4)5.0 (3)2.6 (0.8)3.1 (2)3.1 (2)3.6 (0.9)15/15
DIRECT posik 2.2 (4)1.3 (0.7)1.0 (0.9)2.7 (6)3.0 (6)3.0 (6)2.7 (5)5/5
EDA-PSO el-abd 3.9 (5)3.1 (3)6.2 (5)6.3 (6)9.0 (9)9.0 (9)14 (11)15/15
FULLNEWUOA ros 2.2 (1)3.8 (7)3.8 (5)1.7 (3)2.9 (3)2.9 (3)2.7 (3)15/15
G3PCX posik 4.8 (6)12 (3)35 (63)19 (37)21 (33)21 (33)19 (30)15/15
GA nicolau 5.6 (6)4.0 (4)23 (20)24 (24)47 (27)47 (27)67 (26)14/15
GLOBAL pal 7.3 (9)4.1 (5)7.5 (7)2.7 (2)4.4 (6)4.4 (7)3.9 (6)9/15
IPOP-SEP-CMA-ES ros 5.9 (5)2.7 (2)2.8 (2)1.2 (0.7)1.3 (1)1.3 (1)1.5 (0.9)15/15
LSfminbnd posik 6.7 (7)11 (18)67 (94)55 (73)495 (538)495 (706)965 (735)1/15
LSstep posik 277 (267)249 (267)460 (447)1517 (1554)2e40/15
MA-LS-CHAIN molina 6.2 (7)3.5 (4)4.7 (4)3.6 (2)4.6 (3)4.6 (3)4.7 (3)15/15
MCS huyer 1.1 (0.8)4.2 (5)4.5 (2)2.2 (2)6.5 (9)6.5 (9)6.0 (8)15/15
NELDERDOERR doerr 2.8 (2)1.0 (0.5)8.6 (12)5.4 (7)5.2 (9)5.2 (9)5.4 (8)15/15
NELDER hansen 2.7 (2)26 (40)18 (29)6.6 (9)6.5 (8)6.5 (8)5.9 (7)15/15
NEWUOA ros 2.7 (3)9.5 (19)9.4 (13)6.0 (8)14 (27)14 (24)12 (22)13/15
ONEFIFTH auger 6.0 (8)4.2 (3)4.3 (4)1.8 (2)3.3 (5)3.3 (5)3.1 (4)15/15
POEMS kubalik 192 (66)45 (29)41 (17)21 (12)23 (13)23 (13)28 (6)15/15
PSO Bounds el-abd 6.6 (6)3.5 (3)5.8 (6)5.0 (3)6.7 (7)6.7 (7)14 (8)15/15
PSO el-abd 4.4 (4)3.5 (4)4.8 (6)3.2 (2)3.6 (2)3.6 (2)4.4 (2)15/15
RANDOMSEARCH auger 5.0 (7)4.6 (5)43 (41)87 (97)150 (202)150 (202)952 (844)12/15
Rosenbrock posik 165 (239)121 (132)167 (247)78 (74)189 (249)189 (251)170 (189)2/15
VNS garcia-martinez 4.2 (4)3.9 (4)5.2 (4)2.1 (1)2.0 (1)2.0 (1)2.0 (0.9)15/15
iAMALGAM bosman 4.2 (4)12 (1)4.7 (0.6)2.8 (9)2.5 (8)2.5 (8)2.4 (7)15/15

Δ fopt
f8, 2-D
1e1
5.0
1e0
12
1e-1
37
1e-2
46
1e-3
86
1e-5
94
1e-7
112
#succ
15/15
ALPS hornby 5.1 (5)19 (22)30 (22)66 (28)54 (28)94 (34)131 (31)15/15
AMALGAM bosman 6.7 (6)10 (5)6.7 (7)7.0 (7)4.5 (4)5.1 (3)5.0 (3)15/15
BAYEDA gallagher 6.1 (6)11 (9)47 (58)355 (542)40000/15
BFGS ros 4.5 (4)5.1 (4)2.4 (2)2.2 (1)1.3 (0.6)1.3 (0.5)1.1 (0.5)15/15
BIPOP-CMA-ES hansen 3.7 (4)7.1 (10)9.1 (7)11 (6)6.5 (4)6.7 (3)6.2 (3)15/15
CMA-ESPLUSSEL auger 4.1 (4)11 (12)6.8 (5)7.0 (4)4.2 (2)4.3 (2)4.0 (2)15/15
Cauchy-EDA posik 11 (11)24 (22)19 (12)21 (11)13 (4)14 (4)13 (3)15/15
DASA korosec 116 (119)520 (493)478 (776)681 (700)524 (483)698 (532)822 (491)15/15
DE-PSO garcia-nieto 3.9 (5)14 (8)15 (11)25 (15)28 (12)65 (28)40400/15
DIRECT posik 1.5 (2)5.0 (5)4.4 (2)8.8 (10)10 (5)17 (5)21 (7)5/5
EDA-PSO el-abd 5.9 (6)11 (10)49 (51)99 (83)97 (30)176 (45)216 (53)15/15
FULLNEWUOA ros 7.5 (7)7.0 (5)3.1 (1)2.8 (1)1.6 (0.7)1.5 (0.6)1.3 (0.5)15/15
G3PCX posik 5.5 (7)24 (44)16 (19)18 (17)11 (8)11 (8)10 (6)15/15
GA nicolau 9.1 (9)34 (42)86 (78)169 (133)1348 (1201)2e50/15
GLOBAL pal 15 (12)19 (10)8.1 (3)7.2 (0.6)4.1 (0.3)3.9 (0.3)3.4 (0.3)15/15
IPOP-SEP-CMA-ES ros 5.6 (5)19 (25)17 (9)17 (3)10 (2)10 (2)8.7 (1)15/15
LSfminbnd posik 457 (1692)1541 (1624)2280 (1789)6331 (7826)2e40/15
LSstep posik 40 (41)1481 (2515)3519 (4189)6096 (6848)2e40/15
MA-LS-CHAIN molina 7.7 (8)16 (14)10 (8)15 (2)9.0 (0.9)9.0 (0.9)8.5 (0.7)15/15
MCS huyer 1.1 (0.9)1 (0.9)0.99 (0.6)1.0 (0.7)1.0 (0.9)1 (0.8)1 (0.6)15/15
NELDERDOERR doerr 4.9 (4)6.2 (4)2.9 (1)2.8 (1)1.6 (0.7)1.6 (0.5)1.5 (0.5)15/15
NELDER hansen 2.3 (2)3.7 (3)2.0 (1)2.0 (1)1.1 (0.6)1.2 (0.5)1.2 (0.4)15/15
NEWUOA ros 4.6 (5)7.0 (6)3.5 (2)3.2 (2)1.9 (0.9)1.8 (0.8)1.6 (0.7)15/15
ONEFIFTH auger 51 (4)59 (74)23 (27)34 (31)35 (15)70 (10)95 (10)15/15
POEMS kubalik 131 (72)106 (138)75 (46)108 (28)75 (15)116 (16)129 (13)15/15
PSO Bounds el-abd 6.5 (6)19 (17)24 (20)61 (41)69 (35)148 (73)205 (61)15/15
PSO el-abd 7.1 (7)11 (12)15 (10)28 (14)26 (12)49 (13)67 (17)15/15
RANDOMSEARCH auger 6.3 (6)19 (23)71 (106)677 (610)2225 (2389)3.1e5 (4e5)2e60/15
Rosenbrock posik 5.3 (6)10 (9)5.2 (3)4.8 (2)2.8 (1)2.8 (1)2.5 (1.0)15/15
VNS garcia-martinez 8.8 (12)16 (10)10 (7)11 (5)6.9 (3)7.2 (2)6.7 (2)15/15
iAMALGAM bosman 4.7 (2)12 (17)8.0 (8)8.4 (6)5.1 (3)5.5 (3)5.2 (3)15/15

Δ fopt
f9, 2-D
1e1
1
1e0
18
1e-1
30
1e-2
44
1e-3
68
1e-5
81
1e-7
92
#succ
15/15
ALPS hornby 33 (32)19 (15)41 (29)61 (39)64 (30)100 (25)144 (31)15/15
AMALGAM bosman 22 (16)6.3 (5)9.5 (9)9.5 (7)7.4 (4)7.7 (4)7.7 (4)15/15
BAYEDA gallagher 29 (38)10 (11)99 (136)595 (682)40000/15
BFGS ros 16 (15)2.4 (2)2.3 (1)1.9 (1.0)1.3 (0.7)1.2 (0.5)1.1 (0.4)15/15
BIPOP-CMA-ES hansen 19 (19)4.6 (6)7.1 (6)7.5 (5)5.8 (3)5.8 (3)5.9 (2)15/15
CMA-ESPLUSSEL auger 26 (23)8.7 (10)8.0 (7)7.3 (5)5.4 (4)5.1 (3)4.9 (3)15/15
Cauchy-EDA posik 59 (55)14 (12)20 (12)19 (11)14 (6)14 (6)14 (6)15/15
DASA korosec 318 (671)243 (489)290 (291)325 (307)316 (352)551 (515)741 (762)15/15
DE-PSO garcia-nieto 58 (65)12 (9)12 (9)19 (14)19 (12)45 (26)97 (87)4/15
DIRECT posik 1 (0)2.0 (1)5.0 (4)5.8 (6)8.2 (3)18 (10)25 (20)5/5
EDA-PSO el-abd 47 (40)8.4 (4)27 (35)51 (54)77 (42)152 (89)205 (106)15/15
FULLNEWUOA ros 24 (36)2.6 (3)2.2 (2)1.8 (2)1.3 (1)1.1 (0.9)1.1 (0.8)15/15
G3PCX posik 28 (24)14 (17)20 (22)18 (16)14 (9)13 (8)12 (6)15/15
GA nicolau 44 (56)22 (22)90 (74)192 (128)2154 (4487)1.0e4 (1e4)1.5e4 (1e4)2/15
GLOBAL pal 30 (31)9.0 (8)11 (0.5)7.9 (0.4)5.2 (0.4)4.6 (0.3)4.2 (0.2)15/15
IPOP-SEP-CMA-ES ros 16 (14)7.5 (6)15 (8)14 (3)10 (3)9.4 (3)9.0 (2)15/15
LSfminbnd posik 20 (24)210 (848)666 (967)3106 (4925)4119 (5588)3458 (4506)2e40/15
LSstep posik 747 (1200)225 (611)671 (710)1825 (4091)2075 (2279)2e40/15
MA-LS-CHAIN molina 35 (24)8.5 (6)13 (11)13 (5)10 (3)11 (2)11 (5)15/15
MCS huyer 1 (0)0.99 (0.4)1 (0.5)1.00 (0.5)0.99 (0.5)1.0 (0.5)1.0 (0.5)15/15
NELDERDOERR doerr 11 (6)2.2 (2)2.6 (1)2.1 (0.9)1.5 (0.6)1.4 (0.5)1.4 (0.4)15/15
NELDER hansen 10 (6)1.6 (2)2.0 (2)1.8 (1)1.2 (0.8)1.2 (0.7)1.3 (0.6)15/15
NEWUOA ros 24 (28)3.6 (4)3.3 (3)2.7 (2)1.9 (1)1.8 (1.0)1.7 (0.8)15/15
ONEFIFTH auger 19 (16)81 (23)116 (134)115 (125)100 (89)134 (79)160 (72)15/15
POEMS kubalik 559 (170)64 (44)78 (61)114 (41)98 (25)132 (21)164 (13)15/15
PSO Bounds el-abd 48 (38)11 (9)27 (29)96 (72)121 (63)198 (79)241 (82)15/15
PSO el-abd 37 (42)8.6 (6)12 (8)24 (13)27 (13)49 (25)67 (33)15/15
RANDOMSEARCH auger 47 (66)16 (19)113 (85)893 (931)3585 (5235)3.7e5 (3e5)2e60/15
Rosenbrock posik 22 (7)2.6 (3)3.1 (2)2.9 (2)2.2 (1.0)2.2 (0.8)2.2 (1.0)15/15
VNS garcia-martinez 45 (30)14 (12)15 (9)12 (8)10 (7)10 (6)10 (5)15/15
iAMALGAM bosman 29 (18)5.9 (8)7.2 (7)6.9 (5)5.2 (3)5.3 (3)5.4 (3)15/15

Δ fopt
f10, 2-D
1e1
30
1e0
46
1e-1
54
1e-2
61
1e-3
68
1e-5
82
1e-7
98
#succ
15/15
ALPS hornby 47 (26)68 (51)164 (139)352 (420)779 (688)2076 (2008)3189 (4100)15/15
AMALGAM bosman 3.0 (2)3.0 (1)3.7 (1)4.0 (1)4.1 (1)4.3 (1)4.4 (1)15/15
BAYEDA gallagher 59 (136)187 (283)311 (316)40000/15
BFGS ros 0.99 (0.8)1.3 (0.7)1.4 (0.3)1.4 (0.2)1.4 (0.3)6.3 (13)24 (28)10/15
BIPOP-CMA-ES hansen 7.8 (6)9.0 (3)8.5 (2)7.9 (2)7.8 (2)7.3 (1)6.8 (1.0)15/15
CMA-ESPLUSSEL auger 7.1 (4)6.6 (1)6.3 (0.8)5.8 (1.0)5.6 (0.7)5.2 (0.6)4.7 (0.5)15/15
Cauchy-EDA posik 7.4 (5)6.3 (3)6.9 (3)7.0 (3)7.4 (2)7.9 (2)8.4 (2)15/15
DASA korosec 8860 (2e4)5.2e4 (7e4)6.1e4 (1e5)9.5e4 (8e4)1.2e5 (1e5)1.0e5 (1e5)8.5e4 (1e5)3/15
DE-PSO garcia-nieto 79 (96)111 (81)326 (375)312 (233)40400/15
DIRECT posik 3.8 (2)9.4 (8)20 (16)68 (53)117 (112)223 (186)454 (416)5/5
EDA-PSO el-abd 43 (63)138 (129)328 (372)643 (446)1118 (1117)2996 (3517)8566 (1e4)3/15
FULLNEWUOA ros 3.8 (2)4.5 (2)6.0 (3)6.4 (3)7.2 (3)8.1 (3)9.0 (4)15/15
G3PCX posik 25 (21)39 (27)39 (28)37 (25)34 (23)29 (20)25 (17)15/15
GA nicolau 76 (78)698 (1442)2814 (2927)4284 (4852)4.2e4 (5e4)2e50/15
GLOBAL pal 11 (0.3)7.3 (0.2)6.4 (0.2)5.8 (0.1)5.3 (0.1)4.6 (0.1)4.0 (0.1)15/15
IPOP-SEP-CMA-ES ros 16 (13)14 (9)16 (2)15 (1)13 (1)12 (1)11 (1)15/15
LSfminbnd posik 762 (1000)6271 (8913)2e40/15
LSstep posik 762 (1334)2826 (4891)2e40/15
MA-LS-CHAIN molina 13 (6)18 (12)19 (10)20 (11)19 (10)18 (7)17 (5)15/15
MCS huyer 1.7 (2)8.6 (17)47 (56)131 (268)525 (641)1296 (1195)3721 (5610)1/15
NELDERDOERR doerr 1.2 (0.4)0.99 (0.2)1.00 (0.2)1.00 (0.2)1.0 (0.2)1.00 (0.1)1.00 (0.1)15/15
NELDER hansen 1.2 (0.3)1.1 (0.3)1.0 (0.2)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.0 (0.1)15/15
NEWUOA ros 3.1 (3)4.2 (4)6.5 (4)7.3 (4)8.5 (4)10 (4)11 (5)15/15
ONEFIFTH auger 8620 (1e4)2.4e4 (2e4)7.6e4 (7e4)1.5e5 (2e5)4.4e5 (4e5)2e60/15
POEMS kubalik 301 (785)539 (530)1435 (1376)2063 (2596)2371 (2318)3723 (5911)6410 (9656)4/15
PSO Bounds el-abd 531 (109)764 (2191)740 (1876)832 (1736)1539 (2390)1935 (2247)2087 (2100)10/15
PSO el-abd 181 (334)283 (395)475 (572)653 (603)859 (826)1108 (910)1907 (2699)8/15
RANDOMSEARCH auger 112 (95)683 (618)3887 (2184)4.4e4 (5e4)1.3e5 (1e5)2e60/15
Rosenbrock posik 3.1 (3)3.4 (2)3.2 (0.9)3.0 (1)2.9 (1)3.2 (1)3.0 (1)15/15
VNS garcia-martinez 16 (6)12 (3)11 (2)11 (1)10 (1)9.1 (1)8.3 (1.0)15/15
iAMALGAM bosman 3.2 (2)3.7 (2)4.1 (2)4.1 (3)4.1 (2)4.2 (2)4.1 (2)15/15

Δ fopt
f11, 2-D
1e1
35
1e0
45
1e-1
50
1e-2
62
1e-3
67
1e-5
81
1e-7
97
#succ
15/15
ALPS hornby 35 (21)80 (59)204 (137)410 (256)887 (536)1743 (1104)3394 (2580)15/15
AMALGAM bosman 3.0 (2)3.5 (2)4.2 (2)3.9 (2)4.2 (2)4.4 (2)4.6 (1)15/15
BAYEDA gallagher 31 (56)148 (247)1131 (1380)40000/15
BFGS ros 1.2 (0.9)1.6 (1.0)2.0 (0.4)1.7 (0.4)1.9 (0.5)5.7 (4)36 (31)10/15
BIPOP-CMA-ES hansen 7.9 (5)8.8 (3)9.3 (1)8.1 (1.0)8.0 (1.0)7.5 (0.8)6.8 (0.6)15/15
CMA-ESPLUSSEL auger 5.8 (4)6.4 (0.9)6.7 (1.0)5.7 (0.8)5.6 (0.6)5.1 (0.6)4.7 (0.4)15/15
Cauchy-EDA posik 6.8 (4)7.4 (2)8.2 (2)8.0 (2)8.3 (1)8.9 (2)9.0 (1)15/15
DASA korosec 9112 (1e4)4.0e4 (5e4)5.4e4 (6e4)5.6e4 (1e5)5.4e4 (6e4)4.8e4 (6e4)4.2e4 (4e4)6/15
DE-PSO garcia-nieto 35 (26)105 (119)40400/15
DIRECT posik 2.6 (1)5.2 (6)28 (24)49 (13)59 (29)275 (132)459 (307)5/5
EDA-PSO el-abd 97 (76)264 (241)465 (526)985 (851)1921 (1915)6574 (4345)2e50/15
FULLNEWUOA ros 2.7 (3)4.4 (4)6.3 (4)6.1 (4)7.1 (4)8.1 (4)8.6 (4)15/15
G3PCX posik 10 (13)25 (22)29 (22)36 (22)35 (22)32 (17)27 (14)15/15
GA nicolau 54 (45)218 (153)5086 (6161)4.6e4 (6e4)2e50/15
GLOBAL pal 9.2 (0.3)7.5 (0.3)7.0 (0.2)5.7 (0.1)5.4 (0.2)4.7 (0.1)4.0 (0.1)15/15
IPOP-SEP-CMA-ES ros 13 (10)17 (2)17 (1)14 (1)13 (1)12 (1)11 (1.0)15/15
LSfminbnd posik 501 (715)2889 (4111)5600 (5700)2e40/15
LSstep posik 381 (286)1778 (2000)2600 (2900)2e40/15
MA-LS-CHAIN molina 11 (11)18 (12)24 (7)21 (5)20 (5)20 (1.0)17 (0.6)15/15
MCS huyer 87 (73)124 (184)168 (181)295 (237)926 (929)2052 (2359)5e40/15
NELDERDOERR doerr 1.0 (0.3)1 (0.4)1.0 (0.3)0.99 (0.3)1.0 (0.2)1.0 (0.2)1.0 (0.2)15/15
NELDER hansen 1.0 (0.3)1.1 (0.3)1.2 (0.3)1.0 (0.2)1.1 (0.2)1.1 (0.2)1.0 (0.1)15/15
NEWUOA ros 1.6 (1)3.2 (3)5.6 (5)6.0 (4)7.0 (3)8.5 (4)11 (8)15/15
ONEFIFTH auger 7746 (1e4)2.1e4 (2e4)6.1e4 (6e4)2.2e5 (2e5)4.4e5 (5e5)2e60/15
POEMS kubalik 1045 (1363)1399 (1109)2132 (1911)2790 (2400)4018 (4799)7987 (6041)7127 (4874)3/15
PSO Bounds el-abd 3253 (4322)5208 (5667)6339 (1e4)5434 (9745)6775 (8262)6112 (4429)5478 (5662)4/15
PSO el-abd 482 (142)531 (281)670 (428)669 (345)861 (652)1294 (854)1877 (1577)9/15
RANDOMSEARCH auger 95 (82)872 (1038)6358 (7949)4.3e4 (5e4)2.1e5 (2e5)2e60/15
Rosenbrock posik 2.4 (2)2.7 (2)3.1 (0.6)2.6 (0.5)2.6 (0.4)2.6 (0.8)2.5 (0.8)15/15
VNS garcia-martinez 12 (6)12 (5)12 (2)10 (1)10 (1.0)9.4 (0.8)8.6 (0.6)15/15
iAMALGAM bosman 2.8 (1.0)3.3 (2)4.0 (2)3.8 (1)4.0 (1)4.0 (1)4.0 (1)15/15

Δ fopt
f12, 2-D
1e1
35
1e0
46
1e-1
75
1e-2
94
1e-3
105
1e-5
153
1e-7
195
#succ
15/15
ALPS hornby 39 (14)51 (13)77 (70)94 (70)130 (143)226 (252)374 (462)15/15
AMALGAM bosman 5.6 (2)13 (16)17 (20)17 (20)17 (18)16 (16)15 (15)15/15
BAYEDA gallagher 67 (60)87 (89)40000/15
BFGS ros 1.2 (1)3.2 (4)3.1 (3)2.9 (3)2.8 (3)2.4 (3)4.2 (3)15/15
BIPOP-CMA-ES hansen 7.6 (5)12 (7)10 (13)9.1 (11)9.0 (11)10 (13)8.2 (10)15/15
CMA-ESPLUSSEL auger 9.1 (10)13 (18)10 (14)8.9 (14)8.7 (14)6.5 (10)5.6 (8)15/15
Cauchy-EDA posik 13 (7)24 (37)19 (35)18 (34)18 (32)15 (26)14 (23)15/15
DASA korosec 2617 (8298)6780 (2e4)6095 (1e4)8773 (2e4)1.4e4 (2e4)9719 (1e4)7885 (1e4)9/15
DE-PSO garcia-nieto 40 (43)55 (54)52 (27)48 (58)45 (48)35 (32)45 (37)6/15
DIRECT posik 6.0 (5)35 (70)80 (180)70 (155)164 (194)248 (180)287 (172)5/5
EDA-PSO el-abd 39 (54)98 (222)160 (240)305 (406)793 (953)1009 (1346)820 (863)9/15
FULLNEWUOA ros 4.5 (7)5.2 (9)3.8 (6)3.4 (5)3.3 (5)2.7 (4)2.4 (3)15/15
G3PCX posik 12 (18)29 (35)34 (36)34 (34)32 (33)29 (28)28 (26)15/15
GA nicolau 90 (89)171 (84)576 (1348)1010 (1086)2403 (4375)2220 (3302)1870 (2071)6/15
GLOBAL pal 7.9 (4)8.3 (3)7.2 (7)6.3 (6)6.4 (7)5.0 (5)4.4 (4)12/15
IPOP-SEP-CMA-ES ros 7.3 (5)10 (7)10 (5)8.8 (5)8.5 (6)7.0 (6)6.3 (7)15/15
LSfminbnd posik 570 (719)1230 (1961)773 (740)628 (801)573 (940)409 (313)332 (369)1/15
LSstep posik 291 (573)231 (331)235 (231)349 (367)721 (978)815 (1031)640 (699)2/15
MA-LS-CHAIN molina 11 (4)15 (7)13 (9)12 (7)13 (6)11 (6)10 (7)15/15
MCS huyer 60 (144)49 (110)32 (67)26 (54)24 (48)39 (47)30 (36)15/15
NELDERDOERR doerr 1.1 (0.5)1.6 (2)1.6 (2)1.7 (2)1.7 (1)1.4 (1)1.3 (1.0)15/15
NELDER hansen 1.0 (0.3)1.0 (0.2)1.0 (0.4)1.0 (0.6)1.00 (0.5)1.00 (0.5)1.00 (0.6)15/15
NEWUOA ros 1.9 (0.6)2.9 (3)2.3 (4)2.1 (4)2.0 (4)1.6 (3)1.4 (3)15/15
ONEFIFTH auger 6570 (8848)1.7e4 (2e4)2.3e4 (2e4)5.5e4 (6e4)1.3e5 (2e5)1.9e5 (2e5)2e60/15
POEMS kubalik 81 (94)653 (1035)1053 (1344)1203 (1325)1604 (1584)2902 (3753)1.5e4 (2e4)0/15
PSO Bounds el-abd 222 (58)442 (174)391 (555)507 (1093)684 (994)558 (672)559 (553)11/15
PSO el-abd 18 (12)57 (76)112 (170)132 (152)161 (163)215 (359)299 (423)14/15
RANDOMSEARCH auger 93 (82)586 (826)3209 (4349)1.6e4 (1e4)1.4e5 (9e4)2e60/15
Rosenbrock posik 2.4 (2)3.6 (5)3.0 (4)5.4 (4)5.1 (4)3.8 (3)3.3 (3)15/15
VNS garcia-martinez 14 (7)13 (4)8.8 (1)7.5 (1)7.1 (1)5.6 (0.7)4.9 (0.5)15/15
iAMALGAM bosman 4.4 (5)7.0 (9)6.4 (9)6.4 (8)6.4 (8)5.8 (6)5.4 (5)15/15

Δ fopt
f13, 2-D
1e1
23
1e0
35
1e-1
46
1e-2
60
1e-3
71
1e-5
95
1e-7
122
#succ
15/15
ALPS hornby 13 (12)47 (23)104 (44)171 (42)299 (258)3737 (4427)2.9e4 (2e4)7/15
AMALGAM bosman 2.6 (1)3.2 (0.8)3.7 (0.6)3.7 (0.9)3.9 (0.6)3.9 (0.7)4.1 (0.6)15/15
BAYEDA gallagher 51 (88)139 (172)577 (652)949 (683)40000/15
BFGS ros 6.7 (6)15 (19)45 (53)74 (59)164 (272)580 (513)1e40/15
BIPOP-CMA-ES hansen 3.2 (3)5.4 (2)5.7 (2)5.9 (1)6.4 (2)6.6 (2)7.0 (1)15/15
CMA-ESPLUSSEL auger 5.1 (6)7.3 (5)7.0 (4)7.3 (2)8.0 (4)7.9 (3)7.6 (4)15/15
Cauchy-EDA posik 7.2 (5)7.7 (4)7.7 (2)8.2 (3)8.5 (2)8.5 (2)8.5 (2)15/15
DASA korosec 527 (873)858 (955)2580 (3448)4866 (5305)1.6e4 (2e4)1.4e5 (2e5)2e60/15
DE-PSO garcia-nieto 8.2 (6)25 (10)63 (53)125 (88)40400/15
DIRECT posik 2.5 (0.9)4.2 (3)5.1 (2)8.7 (7)24 (22)74 (39)121 (41)4/5
EDA-PSO el-abd 6.3 (4)42 (43)181 (76)274 (66)707 (1396)3.1e4 (3e4)2e50/15
FULLNEWUOA ros 8.3 (13)12 (13)31 (33)76 (106)139 (171)756 (624)1847 (1909)0/15
G3PCX posik 13 (21)30 (24)36 (68)47 (71)50 (69)70 (105)61 (97)15/15
GA nicolau 24 (34)174 (134)1098 (2202)2.2e4 (2e4)2e50/15
GLOBAL pal 9.0 (6)9.3 (0.3)7.4 (0.2)6.0 (0.2)13 (10)8870/15
IPOP-SEP-CMA-ES ros 12 (19)20 (13)18 (3)15 (2)14 (2)13 (3)11 (2)15/15
LSfminbnd posik 51 (107)112 (206)168 (233)474 (758)846 (1198)2e40/15
LSstep posik 279 (261)575 (691)1048 (1634)1508 (1398)2e40/15
MA-LS-CHAIN molina 8.5 (10)17 (7)18 (9)21 (9)23 (7)19 (2)22 (5)15/15
MCS huyer 23 (15)20 (11)167 (163)958 (1049)2152 (2465)5e40/15
NELDERDOERR doerr 1.1 (0.8)1.1 (0.5)1.1 (0.3)1.0 (0.3)1.0 (0.2)1.1 (0.2)1.0 (0.2)15/15
NELDER hansen 0.98 (0.4)1.0 (0.3)1.0 (0.2)1 (0.1)1.00 (0.1)1.00 (0.1)1.0 (0.1)15/15
NEWUOA ros 6.2 (15)10 (16)22 (47)25 (36)72 (89)91 (114)147 (153)5/15
ONEFIFTH auger 37 (41)94 (89)209 (234)371 (418)792 (734)8090 (7350)3.7e4 (6e4)2/15
POEMS kubalik 47 (28)93 (40)143 (31)330 (406)1096 (1412)6243 (6971)2.4e4 (3e4)0/15
PSO Bounds el-abd 9.0 (8)43 (29)122 (65)260 (102)619 (238)2983 (2514)2e50/15
PSO el-abd 8.8 (8)27 (16)77 (43)142 (117)326 (229)2895 (3444)1.1e4 (1e4)2/15
RANDOMSEARCH auger 18 (18)280 (417)1.2e4 (1e4)1.1e5 (8e4)2e60/15
Rosenbrock posik 5.5 (5)7.1 (8)7.5 (7)18 (26)28 (21)70 (67)168 (146)4/15
VNS garcia-martinez 8.6 (7)10 (3)10 (3)8.8 (2)9.2 (3)8.6 (2)8.4 (2)15/15
iAMALGAM bosman 2.5 (1)3.1 (2)3.7 (2)3.3 (2)3.5 (1)3.6 (1)3.7 (1)15/15

Δ fopt
f14, 2-D
1e1
1
1e0
7.0
1e-1
16
1e-2
24
1e-3
38
1e-5
67
1e-7
90
#succ
15/15
ALPS hornby 2.2 (2)2.6 (3)15 (15)61 (19)75 (22)132 (66)529 (479)15/15
AMALGAM bosman 2.2 (2)3.4 (3)4.0 (2)4.8 (2)4.2 (1)3.9 (1)4.2 (0.7)15/15
BAYEDA gallagher 2.6 (2)1.9 (2)10 (6)26 (12)67 (86)182 (301)40000/15
BFGS ros 3.0 (3)2.9 (3)1.8 (1)1.7 (1)1.4 (0.7)1.0 (0.4)6.0 (9)15/15
BIPOP-CMA-ES hansen 2.6 (4)2.7 (2)3.0 (2)4.2 (2)4.6 (2)5.6 (2)7.1 (1)15/15
CMA-ESPLUSSEL auger 2.4 (2)3.3 (3)3.5 (2)3.6 (1)4.0 (2)4.5 (1.0)4.7 (1)15/15
Cauchy-EDA posik 18 (34)14 (11)12 (6)11 (5)10 (3)8.9 (2)8.5 (2)15/15
DASA korosec 30 (60)24 (19)16 (13)18 (11)33 (24)9325 (1e4)3.1e5 (4e5)0/15
DE-PSO garcia-nieto 2.0 (1)5.5 (3)11 (5)17 (5)17 (9)55 (49)40400/15
DIRECT posik 1.4 (1)1.4 (2)2.2 (1)2.9 (1)6.0 (5)13 (8)32 (27)5/5
EDA-PSO el-abd 2.0 (2)3.1 (3)8.3 (3)12 (4)15 (11)158 (75)1079 (1726)5/15
FULLNEWUOA ros 4.5 (3)1.5 (0.5)1.0 (0.3)1.0 (0.2)0.99 (0.3)1.5 (0.7)3.7 (2)11/15
G3PCX posik 2.5 (2)6.6 (7)6.4 (1)6.0 (1)6.6 (4)9.2 (4)11 (5)15/15
GA nicolau 1.5 (0.5)4.2 (4)41 (54)202 (109)274 (106)3183 (4043)2e50/15
GLOBAL pal 2.4 (2)5.8 (6)13 (9)13 (0.3)8.7 (0.2)8.2 (5)6930/15
IPOP-SEP-CMA-ES ros 2.3 (1)1.9 (2)4.5 (3)5.0 (2)7.3 (6)10 (3)11 (0.8)15/15
LSfminbnd posik 6.6 (19)5.7 (4)3.0 (2)6.3 (4)76 (88)2e40/15
LSstep posik 56 (201)77 (86)50 (25)126 (117)1553 (2511)2e40/15
MA-LS-CHAIN molina 2.4 (2)3.3 (3)10 (7)15 (3)13 (3)12 (3)17 (4)15/15
MCS huyer 1.4 (1)1.1 (1)1.4 (0.7)1.7 (1)2.8 (2)23 (39)8186 (1e4)0/15
NELDERDOERR doerr 1.8 (2)1.4 (0.7)1.3 (0.5)1.3 (0.2)1.1 (0.1)1.0 (0.1)1.0 (0.1)15/15
NELDER hansen 3.0 (2)1.5 (0.9)1.4 (0.4)1.4 (0.3)1.2 (0.3)1.0 (0.2)1.1 (0.3)15/15
NEWUOA ros 5.1 (4)2.5 (1)1.6 (0.7)1.5 (0.5)1.6 (0.5)2.1 (0.5)5.4 (3)6/15
ONEFIFTH auger 3.3 (6)2.6 (3)2.5 (2)3.5 (2)9.2 (9)3429 (1406)2e60/15
POEMS kubalik 269 (228)91 (23)74 (52)158 (84)177 (45)337 (397)3284 (2793)2/15
PSO Bounds el-abd 2.1 (2)2.9 (3)14 (11)45 (33)72 (31)183 (132)1180 (1202)8/15
PSO el-abd 1.9 (2)5.1 (6)13 (8)26 (14)36 (9)85 (59)1734 (1633)3/15
RANDOMSEARCH auger 2.5 (2)2.8 (2)31 (23)565 (356)7208 (5028)4.2e5 (4e5)2e60/15
Rosenbrock posik 5.7 (6)2.0 (0.7)1.6 (0.5)1.7 (0.9)1.9 (0.7)2.4 (1)3.0 (2)15/15
VNS garcia-martinez 3.0 (2)6.5 (5)10 (3)10 (2)8.9 (2)8.7 (2)9.3 (2)15/15
iAMALGAM bosman 2.3 (3)3.9 (4)3.9 (2)4.1 (2)3.9 (1)3.5 (1)3.6 (0.8)15/15

Δ fopt
f15, 2-D
1e1
37
1e0
291
1e-1
1033
1e-2
1066
1e-3
1113
1e-5
1231
1e-7
1412
#succ
15/15
ALPS hornby 2.7 (4)6.8 (3)3.4 (2)4.8 (2)5.7 (2)7.9 (2)9.1 (2)15/15
AMALGAM bosman 1.2 (0.9)4.3 (12)2.7 (4)2.8 (4)2.8 (4)2.6 (4)2.3 (3)15/15
BAYEDA gallagher 2.1 (3)8.2 (9)7.6 (8)26 (27)40000/15
BFGS ros 4.2 (3)4.6 (6)7.9 (11)7.7 (10)7.3 (8)6.6 (6)5.8 (4)7/15
BIPOP-CMA-ES hansen 1.1 (1)1.8 (2)2.1 (3)2.2 (3)2.2 (3)2.1 (3)1.9 (2)15/15
CMA-ESPLUSSEL auger 22 (40)7.7 (11)7.7 (12)7.4 (10)7.1 (9)6.5 (10)5.7 (7)13/15
Cauchy-EDA posik 4.9 (3)3.0 (4)3.2 (3)11 (11)14 (16)13 (15)12 (13)15/15
DASA korosec 64 (83)85 (146)64 (68)62 (66)60 (63)54 (57)48 (50)15/15
DE-PSO garcia-nieto 2.9 (3)3.8 (3)1.7 (0.9)2.2 (0.9)2.5 (0.8)3.0 (2)6.3 (5)6/15
DIRECT posik 1.0 (0.7)1.0 (0.5)1.0 (0.4)1 (0.4)1 (0.4)1.0 (0.4)1.00 (0.3)5/5
EDA-PSO el-abd 2.0 (2)9.3 (9)6.1 (4)8.3 (3)8.3 (2)8.4 (2)8.1 (2)15/15
FULLNEWUOA ros 1.5 (2)1.4 (2)3.5 (3)3.4 (3)3.3 (3)3.0 (3)2.6 (2)14/15
G3PCX posik 7.8 (2)13 (24)22 (35)21 (34)20 (33)18 (30)16 (26)15/15
GA nicolau 4.2 (5)18 (13)13 (6)34 (12)96 (93)102 (129)123 (82)10/15
GLOBAL pal 3.0 (4)1.6 (0.8)2.6 (2)2.5 (3)2.4 (3)2.2 (2)1.9 (2)5/15
IPOP-SEP-CMA-ES ros 1.5 (1)2.9 (3)2.1 (2)2.2 (2)2.2 (2)2.1 (2)1.9 (1)15/15
LSfminbnd posik 3.7 (2)20 (50)36 (39)51 (46)66 (86)2e40/15
LSstep posik 172 (287)196 (176)80 (93)79 (94)77 (54)71 (85)63 (82)2/15
MA-LS-CHAIN molina 1.7 (2)1.9 (0.2)1.6 (0.9)1.5 (0.8)1.5 (0.8)1.4 (0.7)1.3 (0.6)15/15
MCS huyer 2.1 (3)3.5 (7)1.4 (2)1.4 (2)1.3 (2)1.2 (2)1.1 (1)15/15
NELDERDOERR doerr 1.1 (2)1.3 (1)1.4 (1)1.3 (1)1.3 (1)1.2 (1)1.0 (1)15/15
NELDER hansen 8.5 (18)7.3 (8)10 (10)9.4 (9)9.0 (9)8.2 (8)7.1 (7)15/15
NEWUOA ros 4.1 (7)3.4 (5)3.3 (2)3.2 (2)3.0 (2)2.7 (2)2.4 (2)15/15
ONEFIFTH auger 1.1 (0.9)5.3 (7)8.4 (5)8.2 (5)7.9 (4)7.1 (4)6.3 (4)15/15
POEMS kubalik 17 (7)19 (11)18 (25)20 (23)21 (22)22 (20)22 (18)15/15
PSO Bounds el-abd 1.7 (1)6.6 (3)3.9 (3)7.3 (2)9.2 (3)11 (2)12 (2)15/15
PSO el-abd 1.9 (2)4.1 (4)16 (6)16 (6)16 (6)16 (5)15 (4)14/15
RANDOMSEARCH auger 2.4 (2)64 (68)148 (239)1467 (1533)5753 (6701)2e60/15
Rosenbrock posik 15 (21)10 (15)10 (13)9.2 (10)8.9 (12)8.0 (7)7.0 (8)11/15
VNS garcia-martinez 3.4 (2)1.9 (2)2.4 (3)2.4 (3)2.3 (3)2.7 (4)3.7 (4)15/15
iAMALGAM bosman 1.0 (0.6)4.3 (7)5.2 (6)5.1 (6)5.0 (5)4.6 (5)4.1 (4)15/15

Δ fopt
f16, 2-D
1e1
9.0
1e0
50
1e-1
174
1e-2
326
1e-3
358
1e-5
409
1e-7
538
#succ
15/15
ALPS hornby 2.8 (3)5.6 (7)9.2 (5)14 (7)19 (7)34 (13)37 (21)15/15
AMALGAM bosman 3.3 (3)3.4 (2)5.1 (1)4.6 (12)4.5 (10)4.1 (9)3.3 (7)15/15
BAYEDA gallagher 1.5 (2)10 (10)24 (19)39 (46)76 (98)68 (75)108 (106)1/15
BFGS ros 41 (47)147 (229)173 (197)269 (317)1e40/15
BIPOP-CMA-ES hansen 3.2 (4)3.5 (2)3.5 (4)2.5 (2)2.4 (2)2.3 (2)1.9 (1)15/15
CMA-ESPLUSSEL auger 6.1 (2)2.3 (6)2.4 (3)5.2 (11)8.8 (13)11 (13)12 (15)14/15
Cauchy-EDA posik 4.6 (7)4.4 (6)6.2 (6)15 (21)29 (41)35 (39)27 (29)15/15
DASA korosec 30 (47)152 (345)184 (353)131 (188)205 (220)335 (373)529 (722)15/15
DE-PSO garcia-nieto 4.0 (5)10 (9)10 (4)10 (9)26 (20)73 (77)40400/15
DIRECT posik 1.6 (2)1 (0.6)1.0 (0.7)1.0 (0.6)1.00 (0.6)2.0 (1)1.9 (1)5/5
EDA-PSO el-abd 2.7 (3)4.8 (5)15 (17)195 (350)290 (447)408 (516)315 (391)8/15
FULLNEWUOA ros 8.2 (7)5.9 (10)3.9 (6)3.2 (4)5.5 (10)10 (20)16 (25)9/15
G3PCX posik 2.9 (3)8.9 (15)3.2 (4)4.5 (6)4.8 (6)5.3 (5)11 (13)15/15
GA nicolau 2.1 (3)4.1 (6)16 (16)42 (23)178 (297)687 (755)692 (572)5/15
GLOBAL pal 3.9 (3)5.1 (3)2.4 (1)1.4 (0.7)1.5 (0.7)1.7 (1)1.5 (1)15/15
IPOP-SEP-CMA-ES ros 3.2 (3)4.1 (5)2.4 (3)2.9 (2)4.0 (3)3.9 (2)3.3 (2)15/15
LSfminbnd posik 5.6 (6)5.7 (7)5.4 (5)8.3 (11)14 (26)38 (50)107 (129)3/15
LSstep posik 1.6 (1)11 (16)23 (39)63 (72)70 (75)199 (245)152 (251)3/15
MA-LS-CHAIN molina 1.3 (2)3.6 (3)4.2 (4)6.4 (6)10 (12)10 (10)8.3 (9)15/15
MCS huyer 5.2 (6)6.7 (10)2.7 (3)4.3 (5)6.8 (8)29 (40)115 (118)6/15
NELDERDOERR doerr 1.7 (1)3.5 (5)1.8 (2)1.1 (1)1.1 (1)1.0 (0.9)1.00 (0.7)15/15
NELDER hansen 1.2 (1)7.6 (9)4.4 (5)4.7 (4)4.3 (3)3.8 (3)2.9 (2)15/15
NEWUOA ros 9.1 (12)10 (11)6.8 (8)6.9 (8)22 (32)44 (42)77 (76)4/15
ONEFIFTH auger 35 (38)38 (51)35 (55)33 (46)56 (43)84 (112)121 (82)15/15
POEMS kubalik 72 (79)648 (2001)202 (578)114 (307)111 (282)107 (245)88 (187)13/15
PSO Bounds el-abd 2.9 (2)6.4 (5)11 (8)113 (310)123 (295)121 (254)103 (193)13/15
PSO el-abd 2.5 (2)3.8 (5)6.1 (5)101 (307)94 (280)86 (246)69 (186)13/15
RANDOMSEARCH auger 2.3 (2)5.0 (6)20 (18)137 (117)1201 (1289)7.2e4 (7e4)2e60/15
Rosenbrock posik 33 (58)36 (41)33 (32)27 (23)79 (71)2e40/15
VNS garcia-martinez 4.7 (7)5.0 (2)4.8 (6)4.9 (5)4.7 (5)5.6 (4)6.8 (10)15/15
iAMALGAM bosman 1.0 (0.8)6.9 (2)7.4 (12)9.1 (19)9.2 (18)8.3 (16)7.0 (12)15/15

Δ fopt
f17, 2-D
1e1
3.0
1e0
61
1e-1
133
1e-2
275
1e-3
396
1e-5
1086
1e-7
1657
#succ
15/15
ALPS hornby 1.3 (1)2.8 (3)16 (4)15 (2)17 (3)12 (2)11 (1.0)15/15
AMALGAM bosman 1.3 (1)1.3 (0.6)4.8 (1)2.7 (0.6)4.5 (9)2.9 (3)2.1 (2)15/15
BAYEDA gallagher 0.89 (0.8)2.0 (3)8.0 (5)7.0 (4)8.7 (7)27 (23)40000/15
BFGS ros 13 (16)16 (23)90 (118)37860/15
BIPOP-CMA-ES hansen 3.6 (5)1.8 (1)1.5 (0.6)1.0 (0.4)1.00 (0.3)1.3 (1)1.1 (0.8)15/15
CMA-ESPLUSSEL auger 11 (8)3.0 (3)5.9 (12)14 (22)14 (17)16 (19)10 (9)10/15
Cauchy-EDA posik 16 (22)120 (2)56 (1)28 (0.8)20 (0.8)16 (46)13 (30)9/15
DASA korosec 19 (25)29 (45)37 (63)52 (95)93 (89)337 (504)221 (331)15/15
DE-PSO garcia-nieto 2.4 (3)1.1 (1)4.3 (1)3.7 (0.7)3.7 (0.7)2.4 (0.3)2.8 (1)4/15
DIRECT posik 1.3 (2)1.00 (1.0)1 (0.5)1.0 (0.7)1.4 (0.4)1.00 (0.3)1 (0.6)5/5
EDA-PSO el-abd 2.3 (2)2.0 (2)3.9 (2)7.4 (4)10 (4)8.0 (3)7.1 (2)15/15
FULLNEWUOA ros 7.2 (3)4.4 (6)14 (30)21 (23)53 (74)1e40/15
G3PCX posik 2.2 (3)4.5 (2)6.2 (9)3.9 (5)3.2 (3)4.4 (6)3.0 (4)15/15
GA nicolau 1.8 (2)5.0 (8)47 (29)61 (16)91 (25)151 (110)2e50/15
GLOBAL pal 2.3 (2)4.0 (2)4.1 (3)3.9 (4)4.4 (4)10440/15
IPOP-SEP-CMA-ES ros 3.6 (4)2.2 (1.0)2.8 (4)2.3 (3)1.8 (2)1.5 (0.9)1.4 (0.6)15/15
LSfminbnd posik 4.8 (10)1.2 (1)7.3 (7)55 (63)91820/15
LSstep posik 37 (67)40 (26)35 (30)44 (53)82 (105)2e40/15
MA-LS-CHAIN molina 1.2 (1)2.2 (2)5.3 (3)4.3 (2)4.8 (2)3.1 (1)2.9 (1)15/15
MCS huyer 1.1 (1)4.3 (4)4.8 (4)5.4 (5)9.2 (11)142 (148)125 (121)0/15
NELDERDOERR doerr 1.2 (0.8)1.5 (2)3.3 (5)3.0 (4)3.1 (3)5.9 (6)4.0 (4)14/15
NELDER hansen 120 (202)27 (22)20 (24)14 (17)11 (12)10 (10)6.3 (7)15/15
NEWUOA ros 6.8 (15)6.8 (6)18 (29)33 (31)115 (171)1e40/15
ONEFIFTH auger 2.4 (2)5.9 (6)6.7 (7)4.8 (5)8.5 (15)23 (23)15 (15)15/15
POEMS kubalik 97 (110)17 (9)35 (9)31 (8)32 (5)24 (2)21 (0.9)15/15
PSO Bounds el-abd 1.7 (3)1.3 (1)13 (7)15 (6)22 (4)21 (10)30 (5)15/15
PSO el-abd 1.7 (2)1.6 (0.9)5.0 (2)6.2 (2)8.1 (1)5.5 (1)5.5 (0.9)15/15
RANDOMSEARCH auger 1.5 (2)5.2 (4)215 (178)4886 (5585)7.4e4 (1e5)2e60/15
Rosenbrock posik 40 (32)83 (94)141 (173)502 (726)349 (611)93440/15
VNS garcia-martinez 2.2 (3)5.6 (10)4.7 (5)2.7 (3)2.9 (2)6.7 (8)32 (33)15/15
iAMALGAM bosman 1.1 (1)8.8 (30)6.2 (14)4.2 (7)5.1 (5)4.0 (2)2.8 (1)15/15

Δ fopt
f18, 2-D
1e1
19
1e0
134
1e-1
666
1e-2
1249
1e-3
1708
1e-5
2438
1e-7
2858
#succ
15/15
ALPS hornby 1.6 (1)6.6 (5)5.5 (2)5.4 (2)6.7 (2)10 (5)13 (6)15/15
AMALGAM bosman 1.3 (0.8)4.1 (0.5)1.0 (0.1)1.0 (3)1.1 (2)1.1 (2)1.1 (1)15/15
BAYEDA gallagher 2.3 (2)18 (25)19 (15)48 (56)40000/15
BFGS ros 14 (23)29 (32)108 (97)48990/15
BIPOP-CMA-ES hansen 2.2 (2)6.5 (7)1.9 (2)1.1 (0.9)1.00 (0.6)1.0 (0.4)1.00 (0.4)15/15
CMA-ESPLUSSEL auger 6.6 (10)13 (21)17 (22)38 (36)82 (94)2e40/15
Cauchy-EDA posik 380 (4)55 (2)11 (0.4)6.4 (0.3)5.0 (0.4)7.4 (17)6.7 (14)13/15
DASA korosec 26 (38)91 (113)86 (117)739 (966)1784 (1793)5876 (8024)5013 (4920)2/15
DE-PSO garcia-nieto 2.7 (4)3.1 (1)2.1 (2)3.3 (5)11 (8)8.3 (9)40400/15
DIRECT posik 1 (0.7)1.00 (0.7)1.1 (0.8)1.2 (0.6)3.4 (4)4.9 (2)11 (7)5/5
EDA-PSO el-abd 2.4 (2)5.4 (6)7.1 (5)9.1 (5)11 (5)13 (6)15 (6)15/15
FULLNEWUOA ros 3.0 (3)16 (13)19 (18)71 (99)1e40/15
G3PCX posik 2.0 (3)10 (17)21 (29)41 (49)48 (53)99 (137)85 (66)5/15
GA nicolau 4.3 (4)15 (12)23 (11)107 (87)275 (387)1237 (1486)2e50/15
GLOBAL pal 2.0 (2)3.1 (2)2.2 (2)4.8 (6)7.6 (10)19720/15
IPOP-SEP-CMA-ES ros 2.1 (3)6.2 (7)2.1 (2)1.3 (0.8)1.1 (0.5)1.1 (0.4)1.1 (0.4)15/15
LSfminbnd posik 1.3 (1)2.1 (2)7.0 (7)33 (23)89840/15
LSstep posik 12 (11)79 (90)60 (49)115 (124)2e40/15
MA-LS-CHAIN molina 1.6 (2)3.2 (3)2.5 (2)3.2 (2)4.0 (3)5.8 (6)7.0 (10)10/15
MCS huyer 1.3 (1)2.8 (5)1.7 (2)8.4 (15)135 (163)5e40/15
NELDERDOERR doerr 1.2 (0.4)3.1 (4)2.4 (3)4.3 (8)5.8 (6)25 (25)21 (23)6/15
NELDER hansen 21 (29)44 (33)18 (16)20 (17)38 (47)40 (54)34 (49)12/15
NEWUOA ros 5.6 (8)12 (14)14 (12)62 (99)1e40/15
ONEFIFTH auger 63 (2)232 (577)618 (580)1493 (3086)4934 (6104)2e60/15
POEMS kubalik 28 (15)118 (193)29 (38)28 (38)23 (28)45 (51)42 (53)12/15
PSO Bounds el-abd 1.5 (1)5.3 (4)6.7 (4)8.8 (6)10 (5)17 (3)23 (5)15/15
PSO el-abd 1.7 (2)3.3 (3)2.8 (1)3.2 (1)3.5 (1)6.5 (3)7.2 (3)15/15
RANDOMSEARCH auger 2.2 (2)21 (16)273 (296)1.1e4 (1e4)2e60/15
Rosenbrock posik 61 (81)56 (52)201 (218)95360/15
VNS garcia-martinez 3.8 (0.9)16 (20)5.4 (5)3.6 (3)4.8 (4)18 (14)151 (187)15/15
iAMALGAM bosman 1.4 (1)12 (14)2.9 (3)1.8 (2)2.3 (1)2.0 (0.1)1.8 (0.1)15/15

Δ fopt
f19, 2-D
1e1
1
1e0
1
1e-1
26
1e-2
216
1e-3
227
1e-5
252
1e-7
276
#succ
15/15
ALPS hornby 5.5 (5)55 (31)18 (20)12 (6)22 (19)41 (25)54 (26)15/15
AMALGAM bosman 6.3 (8)40 (24)6.3 (7)18 (19)18 (18)17 (17)16 (16)15/15
BAYEDA gallagher 3.9 (2)44 (48)10 (10)13 (15)57 (46)40000/15
BFGS ros 37 (76)311 (356)62 (82)30 (27)29 (26)26 (24)24 (39)11/15
BIPOP-CMA-ES hansen 6.0 (5)31 (21)10 (12)12 (17)12 (17)14 (16)14 (15)15/15
CMA-ESPLUSSEL auger 5.6 (6)87 (216)33 (66)32 (52)31 (51)28 (43)26 (38)13/15
Cauchy-EDA posik 16 (28)115 (117)52 (35)170 (261)857 (723)2835 (3588)1e50/15
DASA korosec 42 (70)756 (885)98 (96)252 (302)251 (288)257 (256)269 (249)15/15
DE-PSO garcia-nieto 4.4 (4)59 (66)17 (14)18 (23)35 (30)69 (72)67 (73)3/15
DIRECT posik 1 (0)1 (0)4.7 (4)10 (7)10 (7)8.9 (6)59 (79)5/5
EDA-PSO el-abd 5.2 (5)37 (25)14 (14)17 (17)30 (24)62 (57)72 (61)15/15
FULLNEWUOA ros 6.7 (6)88 (112)17 (23)17 (25)17 (32)15 (25)14 (19)13/15
G3PCX posik 5.3 (8)52 (56)37 (74)49 (53)47 (50)43 (46)40 (42)15/15
GA nicolau 4.5 (4)51 (70)20 (21)21 (14)108 (96)643 (1596)4855 (5418)1/15
GLOBAL pal 4.3 (3)50 (65)10 (7)11 (13)10 (16)10 (11)8.8 (9)13/15
IPOP-SEP-CMA-ES ros 4.3 (4)29 (38)6.9 (8)19 (17)20 (17)19 (16)18 (15)14/15
LSfminbnd posik 9.4 (14)49 (54)10 (10)29 (44)70 (98)307 (270)1e40/15
LSstep posik 139 (208)442 (618)28 (23)63 (63)137 (141)2e40/15
MA-LS-CHAIN molina 6.7 (9)60 (47)7.3 (5)15 (12)15 (11)14 (10)13 (10)14/15
MCS huyer 1 (0)1 (0)1.0 (0.4)1 (1)1 (1)1.0 (1)1.00 (1.0)15/15
NELDERDOERR doerr 4.6 (4)52 (74)11 (13)8.1 (11)7.8 (10)7.1 (9)6.5 (8)15/15
NELDER hansen 3.1 (3)383 (810)65 (81)32 (37)30 (35)28 (32)25 (29)15/15
NEWUOA ros 6.2 (6)126 (150)16 (18)27 (21)26 (24)24 (21)22 (22)13/15
ONEFIFTH auger 6.2 (5)103 (192)22 (36)23 (23)25 (22)30 (22)38 (19)15/15
POEMS kubalik 343 (244)555 (157)57 (46)207 (333)204 (324)194 (285)187 (261)14/15
PSO Bounds el-abd 5.1 (6)40 (37)7.9 (7)11 (11)20 (21)48 (32)71 (25)15/15
PSO el-abd 5.3 (8)34 (35)9.2 (5)4.7 (4)6.0 (4)10 (6)16 (6)15/15
RANDOMSEARCH auger 4.5 (5)64 (76)16 (14)36 (47)114 (158)725 (902)3.2e4 (5e4)0/15
Rosenbrock posik 42 (42)164 (245)35 (78)30 (28)29 (22)26 (25)24 (19)12/15
VNS garcia-martinez 2.2 (2)43 (64)12 (16)19 (15)19 (14)20 (14)21 (13)15/15
iAMALGAM bosman 5.5 (6)25 (27)64 (77)50 (105)48 (100)46 (94)42 (86)15/15

Δ fopt
f20, 2-D
1e1
4.0
1e0
61
1e-1
365
1e-2
366
1e-3
366
1e-5
370
1e-7
375
#succ
15/15
ALPS hornby 2.9 (3)13 (10)6.2 (2)9.2 (3)12 (3)20 (4)26 (4)15/15
AMALGAM bosman 2.5 (3)26 (58)37 (66)38 (66)38 (67)38 (67)38 (66)15/15
BAYEDA gallagher 3.4 (3)9.2 (11)32 (33)40000/15
BFGS ros 1.9 (2)6.0 (8)2.7 (2)2.7 (2)2.7 (2)2.7 (2)2.6 (2)15/15
BIPOP-CMA-ES hansen 2.5 (2)12 (18)10 (12)10 (12)11 (13)11 (13)11 (13)15/15
CMA-ESPLUSSEL auger 1.9 (2)7.4 (8)8.5 (9)8.6 (9)8.6 (9)8.6 (9)8.6 (9)14/15
Cauchy-EDA posik 17 (19)10 (16)31 (23)153 (113)1264 (1752)1971 (1825)1945 (2801)2/15
DASA korosec 46 (61)80 (120)44 (44)45 (44)45 (44)45 (43)45 (42)15/15
DE-PSO garcia-nieto 0.93 (1)10 (7)4.9 (6)5.6 (6)6.4 (6)8.0 (6)9.2 (6)13/15
DIRECT posik 5.7 (0.1)0.99 (8e-3)2.9 (0.0)3.0 (0.0)3.1 (0.0)3.7 (0.0)3.9 (0.0)5/5
EDA-PSO el-abd 3.0 (3)9.0 (9)13 (8)21 (4)25 (3)26 (3)27 (3)15/15
FULLNEWUOA ros 1.7 (0)18 (23)8.3 (13)8.3 (13)8.3 (13)8.2 (12)8.1 (12)14/15
G3PCX posik 2.7 (4)38 (66)7.8 (13)7.9 (13)8.0 (13)8.1 (12)8.2 (12)15/15
GA nicolau 2.6 (2)14 (18)15 (12)27 (16)45 (15)85 (15)126 (20)15/15
GLOBAL pal 2.2 (3)11 (11)4.5 (6)4.5 (4)4.5 (4)4.5 (5)4.5 (5)10/15
IPOP-SEP-CMA-ES ros 1.7 (2)9.4 (14)15 (17)16 (16)17 (18)18 (18)18 (19)15/15
LSfminbnd posik 6.1 (7)153 (154)2e40/15
LSstep posik 166 (201)119 (131)25 (32)27 (32)30 (38)40 (34)50 (33)11/15
MA-LS-CHAIN molina 2.2 (2)4.2 (3)1.8 (0.9)2.0 (1)2.1 (1)2.3 (1)2.4 (1)15/15
MCS huyer 5.3 (2)2.2 (2)1.00 (1)1.0 (1)1.0 (1)1.0 (1)1.0 (1)15/15
NELDERDOERR doerr 1.4 (1)3.9 (4)2.8 (3)2.8 (3)2.9 (3)2.9 (3)2.9 (3)15/15
NELDER hansen 1.2 (1)36 (57)28 (37)28 (37)28 (37)28 (36)27 (36)15/15
NEWUOA ros 1.9 (2)6.9 (7)5.9 (8)5.9 (8)5.9 (8)5.8 (8)5.8 (8)15/15
ONEFIFTH auger 3.1 (2)13 (20)9.0 (10)9.1 (10)9.2 (10)9.2 (10)9.2 (10)15/15
POEMS kubalik 117 (23)25 (24)30 (62)35 (69)42 (65)52 (66)61 (65)15/15
PSO Bounds el-abd 3.5 (4)11 (9)6.0 (5)13 (5)20 (5)30 (7)36 (8)15/15
PSO el-abd 2.3 (3)8.2 (7)5.0 (9)6.3 (9)8.7 (9)12 (10)15 (11)15/15
RANDOMSEARCH auger 3.4 (3)21 (29)67 (62)682 (603)5774 (6750)2e60/15
Rosenbrock posik 3.7 (2)6.8 (10)4.1 (5)4.2 (5)4.2 (5)4.2 (5)4.2 (5)15/15
VNS garcia-martinez 4.0 (2)17 (25)9.3 (9)10 (9)10 (9)10 (9)13 (11)15/15
iAMALGAM bosman 2.1 (2)51 (33)26 (36)26 (36)27 (36)27 (36)27 (36)15/15

Δ fopt
f21, 2-D
1e1
2.0
1e0
51
1e-1
174
1e-2
276
1e-3
290
1e-5
324
1e-7
330
#succ
15/15
ALPS hornby 0.97 (0.5)2.2 (3)1.8 (1)2.6 (2)4.9 (3)7.8 (2)12 (2)15/15
AMALGAM bosman 1.1 (1)28 (65)17 (21)11 (15)11 (14)10 (16)10 (16)15/15
BAYEDA gallagher 1.4 (1)1.6 (2)9.4 (12)14 (15)39 (28)86 (97)85 (91)1/15
BFGS ros 2.2 (2)4.8 (6)3.1 (3)2.0 (2)1.9 (2)1.7 (2)1.8 (2)15/15
BIPOP-CMA-ES hansen 1.1 (1)11 (14)10 (18)8.2 (11)10 (15)8.9 (14)8.9 (13)15/15
CMA-ESPLUSSEL auger 1.0 (0.8)12 (21)10 (13)6.1 (8)5.9 (8)5.3 (7)5.3 (7)15/15
Cauchy-EDA posik 5.0 (9)309 (981)93 (288)62 (182)65 (186)81 (156)80 (154)13/15
DASA korosec 11 (15)153 (135)139 (251)88 (158)84 (152)77 (137)76 (135)15/15
DE-PSO garcia-nieto 1.7 (2)2.4 (5)1.5 (3)1.8 (2)2.4 (2)2.9 (3)5.6 (3)15/15
DIRECT posik 1.1 (0.8)0.99 (0.9)1.0 (1)1 (0.7)1 (0.7)2.0 (3)2.3 (2)5/5
EDA-PSO el-abd 0.83 (0.5)1.8 (2)84 (3)54 (3)53 (5)51 (5)52 (5)14/15
FULLNEWUOA ros 1.8 (2)3.5 (6)3.0 (3)1.9 (2)1.8 (2)1.7 (1)1.7 (1)15/15
G3PCX posik 1.2 (1)2.7 (1)2.9 (4)1.9 (3)1.9 (2)1.8 (2)1.8 (2)15/15
GA nicolau 1.2 (1)1.0 (0.8)1.7 (2)4.1 (6)7.7 (9)117 (313)271 (471)10/15
GLOBAL pal 1.2 (0.8)1.1 (0.8)1.1 (0.8)1.0 (0.3)1.0 (0.2)1.00 (0.0)1.0 (0.0)15/15
IPOP-SEP-CMA-ES ros 1.1 (1)10 (14)6.4 (9)6.3 (9)8.5 (9)8.5 (9)9.2 (9)15/15
LSfminbnd posik 1.7 (1)39 (37)20 (38)26 (41)46 (67)73 (78)169 (202)3/15
LSstep posik 15 (1)372 (594)149 (168)100 (139)101 (121)121 (92)190 (260)3/15
MA-LS-CHAIN molina 1.2 (1)1.1 (1)1.5 (1)1.5 (0.8)1.7 (0.9)1.9 (0.4)2.0 (0.3)15/15
MCS huyer 1.3 (0.8)22 (51)14 (16)8.8 (10)8.4 (10)7.6 (9)7.5 (9)15/15
NELDERDOERR doerr 1.2 (1)2.6 (4)2.6 (4)1.7 (3)1.6 (2)1.5 (2)1.5 (2)15/15
NELDER hansen 1.5 (0.8)19 (42)20 (29)13 (18)12 (17)11 (16)11 (15)15/15
NEWUOA ros 2.9 (2)3.8 (4)4.0 (4)2.5 (2)2.4 (2)2.2 (2)2.3 (2)15/15
ONEFIFTH auger 2.3 (2)14 (21)19 (37)12 (24)11 (22)10 (20)10 (20)15/15
POEMS kubalik 107 (118)92 (38)892 (931)564 (770)543 (691)492 (618)487 (492)9/15
PSO Bounds el-abd 1.3 (1)33 (3)300 (575)189 (363)181 (346)167 (310)168 (306)12/15
PSO el-abd 0.97 (0.8)1.4 (2)83 (2)53 (2)51 (2)46 (3)47 (2)14/15
RANDOMSEARCH auger 1.7 (1)1.8 (3)1.2 (1)3.5 (2)8.8 (12)42 (29)641 (563)14/15
Rosenbrock posik 1.9 (2)5.4 (6)3.9 (4)2.5 (3)2.4 (2)2.2 (2)2.1 (2)15/15
VNS garcia-martinez 0.90 (0.8)6.1 (15)14 (17)9.1 (11)8.8 (11)8.4 (10)8.4 (10)15/15
iAMALGAM bosman 1.3 (2)21 (36)12 (11)7.9 (8)7.8 (8)7.2 (8)7.1 (7)15/15

Δ fopt
f22, 2-D
1e1
5.0
1e0
27
1e-1
168
1e-2
218
1e-3
249
1e-5
289
1e-7
306
#succ
15/15
ALPS hornby 1.2 (2)1.3 (1)1.0 (1)3.0 (4)5.2 (4)9.2 (5)15 (5)15/15
AMALGAM bosman 1.4 (1)51 (122)18 (33)19 (25)17 (22)15 (20)15 (19)15/15
BAYEDA gallagher 1.3 (0.8)3.3 (2)7.6 (12)10 (11)34 (64)197 (249)40000/15
BFGS ros 5.4 (6)5.0 (5)1.5 (1)1.2 (1)1.1 (1.0)1 (0.8)1.00 (0.8)15/15
BIPOP-CMA-ES hansen 1.1 (0.9)7.2 (14)11 (10)8.7 (8)10 (7)9.1 (6)8.7 (6)15/15
CMA-ESPLUSSEL auger 14 (34)25 (41)7.2 (10)5.7 (7)5.0 (6)4.4 (6)4.3 (5)15/15
Cauchy-EDA posik 27 (9)603 (1852)191 (298)269 (361)394 (430)538 (699)508 (735)6/15
DASA korosec 12 (10)79 (46)22 (30)21 (22)22 (20)40 (40)63 (55)15/15
DE-PSO garcia-nieto 2.4 (4)4.7 (5)2.4 (1)4.0 (2)4.6 (2)6.6 (3)10 (3)14/15
DIRECT posik 1.5 (1)2.1 (2)1.3 (0.7)1.3 (1)1.4 (1)4.8 (6)5.1 (6)5/5
EDA-PSO el-abd 1.1 (0.9)3.9 (6)1.7 (2)4.2 (4)4.9 (4)11 (8)25 (9)15/15
FULLNEWUOA ros 6.6 (12)6.7 (9)1.5 (2)1.2 (1)1.1 (1)1.1 (1)1.2 (1)15/15
G3PCX posik 2.1 (3)2.2 (2)1.1 (0.6)1.1 (0.6)1.1 (0.8)1.4 (1.0)1.6 (1.0)15/15
GA nicolau 1.2 (2)3.0 (4)1.3 (1)3.3 (4)7.1 (11)281 (528)1852 (2479)2/15
GLOBAL pal 1.7 (2)2.8 (3)1.3 (1)1.5 (1)1.5 (1.0)1.4 (0.6)1.3 (0.6)15/15
IPOP-SEP-CMA-ES ros 1.0 (1)7.6 (11)4.4 (5)4.1 (5)3.9 (4)3.8 (3)3.8 (3)15/15
LSfminbnd posik 1.4 (2)4.7 (5)5.1 (8)53 (70)49 (62)69 (68)464 (481)1/15
LSstep posik 1.0 (0.7)79 (244)137 (239)138 (138)148 (138)969 (657)915 (1291)1/15
MA-LS-CHAIN molina 1.1 (1)2.8 (4)1.6 (2)1.8 (2)2.2 (0.8)2.4 (0.5)2.4 (0.5)15/15
MCS huyer 2.4 (2)40 (93)7.4 (15)6.0 (12)5.3 (10)4.8 (9)5.2 (8)15/15
NELDERDOERR doerr 1.3 (0.9)8.0 (14)1.8 (2)1.4 (2)1.2 (2)1.1 (1)1.1 (1)15/15
NELDER hansen 7.8 (1)39 (91)10 (15)7.6 (11)6.6 (10)5.8 (8)5.5 (8)15/15
NEWUOA ros 2.0 (2)6.3 (8)1.2 (1)1.00 (1)1.0 (0.8)1.0 (0.7)1.1 (0.6)15/15
ONEFIFTH auger 1.6 (2)46 (76)11 (16)10 (13)9.4 (12)10 (11)12 (11)15/15
POEMS kubalik 65 (48)928 (2641)233 (573)186 (443)165 (386)149 (330)145 (312)14/15
PSO Bounds el-abd 1.2 (2)532 (11)86 (2)67 (2)60 (3)58 (5)64 (7)14/15
PSO el-abd 1.5 (1)2.6 (3)1.00 (0.6)1.8 (2)1.9 (1)3.8 (2)6.5 (3)15/15
RANDOMSEARCH auger 1.3 (2)2.7 (3)1.5 (1)3.1 (4)7.2 (7)93 (118)757 (779)15/15
Rosenbrock posik 13 (18)17 (21)4.5 (4)3.5 (3)3.1 (2)2.7 (2)2.6 (2)15/15
VNS garcia-martinez 2.0 (2)0.99 (0.9)2.8 (5)3.8 (6)4.8 (5)5.0 (6)5.3 (6)15/15
iAMALGAM bosman 1.5 (2)14 (19)10 (11)8.9 (9)8.0 (8)7.1 (7)7.3 (9)15/15

Δ fopt
f23, 2-D
1e1
8.0
1e0
193
1e-1
234
1e-2
263
1e-3
299
1e-5
348
1e-7
379
#succ
15/15
ALPS hornby 1.4 (1)14 (13)86 (31)136 (79)197 (161)4058 (7647)2.8e4 (4e4)1/15
AMALGAM bosman 1.3 (0.9)7.5 (4)10 (19)10 (17)9.0 (15)8.4 (13)8.1 (13)15/15
BAYEDA gallagher 1.9 (2)11 (9)40000/15
BFGS ros 4.7 (6)4.9 (5)28 (44)121 (140)477 (473)410 (460)97440/15
BIPOP-CMA-ES hansen 1.7 (2)8.3 (9)15 (14)14 (12)13 (11)12 (10)12 (9)15/15
CMA-ESPLUSSEL auger 2.0 (3)5.1 (5)8.4 (12)8.6 (11)7.7 (10)6.9 (8)6.6 (8)15/15
Cauchy-EDA posik 1.7 (2)16 (18)861 (999)1e50/15
DASA korosec 5.5 (5)17 (22)174 (168)1778 (2357)8577 (1e4)8654 (1e4)7950 (1e4)6/15
DE-PSO garcia-nieto 2.2 (2)24 (32)40400/15
DIRECT posik 1.4 (1)4.2 (2)294 (536)266 (382)239 (336)210 (220)198 (264)3/5
EDA-PSO el-abd 2.3 (3)18 (15)1421 (1207)2e50/15
FULLNEWUOA ros 5.9 (9)1.5 (2)24 (30)46 (51)81 (109)71 (71)65 (71)6/15
G3PCX posik 1.9 (2)1.6 (0.4)6.1 (10)6.0 (9)5.8 (9)5.4 (7)7.4 (9)15/15
GA nicolau 1.4 (2)6.6 (6)328 (200)842 (765)3312 (2362)2e50/15
GLOBAL pal 0.97 (0.9)2.6 (1)97 (79)32730/15
IPOP-SEP-CMA-ES ros 2.5 (3)8.1 (8)14 (11)16 (15)14 (14)13 (12)12 (11)15/15
LSfminbnd posik 1.2 (0.9)2.1 (3)30 (31)118 (131)197 (211)1e40/15
LSstep posik 2.5 (3)18 (26)1281 (1816)2e40/15
MA-LS-CHAIN molina 1.8 (1)5.5 (5)7.4 (7)7.1 (6)6.6 (6)6.4 (5)7.0 (4)15/15
MCS huyer 3.3 (1)2.8 (3)6.3 (5)23 (22)213 (369)1012 (962)1902 (2612)1/15
NELDERDOERR doerr 4.6 (3)1.00 (1)1.00 (1)1.00 (1.0)1.0 (0.9)1.00 (0.8)1.0 (0.8)15/15
NELDER hansen 1.3 (0.9)1.6 (3)2.2 (3)2.2 (3)2.0 (2)1.8 (2)1.7 (2)15/15
NEWUOA ros 7.6 (9)3.2 (3)32 (43)89 (111)130 (131)500 (570)459 (596)0/15
ONEFIFTH auger 2.5 (3)3.7 (5)19 (14)55 (92)237 (383)2092 (2878)6678 (7713)6/15
POEMS kubalik 13 (26)28 (27)187 (427)185 (386)181 (337)180 (288)189 (266)13/15
PSO Bounds el-abd 1.6 (2)9.4 (12)258 (357)462 (407)501 (455)659 (517)865 (970)5/15
PSO el-abd 1.2 (2)9.0 (9)42 (38)59 (44)73 (46)87 (72)95 (65)15/15
RANDOMSEARCH auger 1.5 (1)8.0 (7)1918 (2526)2e60/15
Rosenbrock posik 1.9 (1)2.2 (2)10 (10)15 (17)17 (21)29 (46)93760/15
VNS garcia-martinez 1.8 (3)8.3 (7)38 (39)67 (96)65 (85)56 (73)52 (67)15/15
iAMALGAM bosman 1.2 (1)5.3 (12)5.5 (12)5.3 (10)4.9 (9)4.7 (8)4.6 (8)15/15

Δ fopt
f24, 2-D
1e1
18
1e0
857
1e-1
8515
1e-2
23399
1e-3
24113
1e-5
24721
1e-7
24721
#succ
5/15
ALPS hornby 1.0 (0.9)6.5 (7)4.0 (5)2.8 (2)2.9 (2)3.0 (2)3.2 (2)15/15
AMALGAM bosman 1.2 (1)35 (58)11 (13)6.7 (6)6.7 (6)6.6 (6)6.7 (6)15/15
BAYEDA gallagher 2.0 (2)68 (51)40000/15
BFGS ros 3.4 (5)5.1 (5)2.9 (3)53130/15
BIPOP-CMA-ES hansen 4.7 (2)19 (24)17 (12)13 (14)22 (25)22 (24)22 (24)14/15
CMA-ESPLUSSEL auger 2.7 (1)6.1 (8)4.8 (4)2.9 (3)2.8 (2)2.7 (4)3.6 (4)3/15
Cauchy-EDA posik 4.0 (4)33 (22)175 (167)1e50/15
DASA korosec 10 (15)138 (168)110 (128)61 (50)59 (62)58 (50)58 (53)12/15
DE-PSO garcia-nieto 3.4 (2)67 (57)40400/15
DIRECT posik 1.9 (2)79 (117)8.7 (9)5.0 (5)4.9 (6)4.7 (5)4.8 (5)3/5
EDA-PSO el-abd 1.6 (2)100 (130)12 (19)9.0 (13)9.0 (8)8.8 (12)8.9 (12)8/15
FULLNEWUOA ros 2.9 (4)1.0 (1.0)1.00 (1.0)1.1 (0.9)1.0 (1)1 (1)1 (1)5/15
G3PCX posik 1.3 (1)37 (32)20 (23)1e50/15
GA nicolau 1.6 (2)67 (120)2e50/15
GLOBAL pal 2.8 (2)3.3 (3)7.0 (6)47600/15
IPOP-SEP-CMA-ES ros 1.7 (1)7.2 (13)3.9 (5)3.7 (5)3.7 (7)3.6 (4)3.6 (3)3/15
LSfminbnd posik 2.9 (4)8.3 (13)2e40/15
LSstep posik 4.9 (11)29 (54)33 (55)12 (20)12 (12)2e40/15
MA-LS-CHAIN molina 2.6 (3)31 (48)34 (29)2e40/15
MCS huyer 2.6 (4)5.7 (3)1.6 (1)2.7 (3)2.7 (3)2.6 (3)2.6 (2)8/15
NELDERDOERR doerr 1.6 (1)1.9 (3)1.5 (1)3.2 (5)3.1 (3)3.0 (4)3.0 (3)6/15
NELDER hansen 17 (35)7.4 (11)5.0 (6)6.6 (8)6.4 (8)6.2 (10)6.2 (7)10/15
NEWUOA ros 3.2 (5)2.8 (3)1.9 (3)2.0 (1)1.9 (3)1.9 (2)1.9 (3)3/15
ONEFIFTH auger 8.1 (23)12 (17)11 (11)21 (17)20 (17)19 (16)19 (16)15/15
POEMS kubalik 28 (19)1521 (1750)173 (112)2e50/15
PSO Bounds el-abd 1.3 (1)1524 (1454)155 (176)57 (47)55 (46)54 (52)54 (42)2/15
PSO el-abd 2.4 (2)470 (469)49 (54)18 (20)17 (29)17 (19)17 (31)5/15
RANDOMSEARCH auger 2.5 (2)14 (17)149 (168)572 (737)2e60/15
Rosenbrock posik 19 (26)35 (69)15 (13)11 (7)11 (20)11 (8)11 (13)1/15
VNS garcia-martinez 1.2 (0.9)5.3 (5)1.7 (1)1.0 (1)1.00 (1)1.9 (1)4.7 (2)15/15
iAMALGAM bosman 1.5 (2)28 (27)9.1 (8)5.4 (3)5.3 (3)5.3 (3)5.3 (3)15/15

Previous dimension | Dimension = 3 | Next dimension

Δ fopt
f1, 3-D
1e1
4.0
1e0
8.0
1e-1
8.0
1e-2
8.0
1e-3
8.0
1e-5
8.0
1e-7
8.0
#succ
15/15
ALPS hornby 2.4 (3)31 (41)156 (82)280 (81)447 (109)862 (66)1221 (82)15/15
AMALGAM bosman 2.8 (3)7.4 (3)16 (5)26 (12)37 (14)54 (18)73 (23)15/15
BAYEDA gallagher 2.1 (2)9.2 (11)96 (18)123 (24)157 (23)282 (378)423 (384)12/15
BFGS ros 2.1 (0.5)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)15/15
BIPOP-CMA-ES hansen 2.5 (2)5.1 (5)11 (4)18 (7)23 (6)34 (9)47 (8)15/15
CMA-ESPLUSSEL auger 1.6 (2)5.2 (3)8.8 (3)12 (3)15 (3)23 (3)30 (4)15/15
Cauchy-EDA posik 36 (28)36 (17)58 (35)91 (22)114 (22)163 (34)211 (43)15/15
DASA korosec 33 (28)37 (23)49 (19)63 (23)76 (26)101 (30)129 (30)15/15
DE-PSO garcia-nieto 2.6 (2)15 (13)36 (20)65 (15)96 (15)147 (8)201 (8)15/15
DIRECT posik 1.1 (1)2.0 (1)5.7 (3)15 (3)27 (2)52 (11)95 (26)5/5
EDA-PSO el-abd 2.5 (2)10 (4)28 (6)56 (17)121 (52)394 (83)694 (116)15/15
FULLNEWUOA ros 2.6 (0)1.4 (0)1.4 (0)1.4 (0)1.4 (0)1.4 (0)1.4 (0)15/15
G3PCX posik 1.7 (1)12 (4)15 (2)19 (3)24 (5)34 (5)47 (9)15/15
GA nicolau 2.8 (4)26 (28)440 (293)1196 (320)2124 (327)4184 (529)6760 (689)15/15
GLOBAL pal 2.8 (3)22 (18)38 (4)41 (0.6)42 (0.5)45 (0.5)48 (0.8)14/15
IPOP-SEP-CMA-ES ros 3.2 (3)5.3 (2)10 (2)14 (2)20 (4)31 (4)41 (6)15/15
LSfminbnd posik 4.9 (7)4.1 (3)5.3 (2)5.6 (2)5.6 (2)5.9 (2)5.9 (2)15/15
LSstep posik 114 (100)94 (25)101 (0.2)101 (0.2)101 (0.1)102 (0.1)102 (0.2)15/15
MA-LS-CHAIN molina 2.2 (3)14 (8)36 (14)57 (11)70 (6)82 (8)96 (10)15/15
MCS huyer 0.90 (0.6)1.6 (1)2.0 (1)2.4 (1)2.4 (1)2.4 (1)2.4 (1)15/15
NELDERDOERR doerr 1.8 (2)2.4 (0.6)3.9 (0.9)5.4 (0.8)6.9 (0.8)10 (1)14 (2)15/15
NELDER hansen 1.7 (0.9)1.8 (0.9)3.4 (1)5.3 (0.9)6.7 (0.9)10 (1)13 (1)15/15
NEWUOA ros 1.6 (0.9)1 (0)1 (0)1 (0)1 (0)1 (0)1 (0)15/15
ONEFIFTH auger 3.1 (3)4.1 (3)7.0 (3)11 (3)14 (2)22 (3)29 (4)15/15
POEMS kubalik 155 (28)107 (25)175 (83)393 (344)1016 (158)1736 (337)2447 (180)15/15
PSO Bounds el-abd 2.8 (4)13 (7)58 (40)229 (127)433 (80)854 (211)1464 (193)15/15
PSO el-abd 2.9 (5)10 (7)44 (15)86 (34)158 (57)307 (60)502 (73)15/15
RANDOMSEARCH auger 3.4 (6)35 (42)1372 (1813)3.3e4 (4e4)1.3e6 (1e6)3e60/15
Rosenbrock posik 4.0 (3)3.3 (2)4.8 (2)5.9 (1)7.5 (2)10 (2)13 (3)15/15
VNS garcia-martinez 2.4 (3)13 (10)24 (4)31 (4)37 (4)50 (7)62 (8)15/15
iAMALGAM bosman 2.2 (2)5.5 (4)12 (6)18 (7)24 (9)36 (9)49 (11)15/15

Δ fopt
f2, 3-D
1e1
38
1e0
42
1e-1
43
1e-2
44
1e-3
45
1e-5
47
1e-7
48
#succ
15/15
ALPS hornby 66 (15)102 (17)136 (19)163 (18)188 (24)245 (19)306 (20)15/15
AMALGAM bosman 6.0 (2)8.0 (3)10 (4)12 (4)14 (4)17 (5)20 (4)15/15
BAYEDA gallagher 20 (5)25 (5)30 (6)46 (7)48 (6)69 (63)93 (66)12/15
BFGS ros 3.1 (2)3.9 (2)4.7 (1)4.9 (1)4.9 (1)5.1 (1)5.2 (1)15/15
BIPOP-CMA-ES hansen 13 (6)17 (7)20 (2)21 (3)21 (2)23 (2)24 (2)15/15
CMA-ESPLUSSEL auger 8.4 (4)11 (3)12 (0.8)13 (1)13 (1)14 (1)14 (1)15/15
Cauchy-EDA posik 18 (4)21 (5)25 (4)29 (3)34 (5)40 (7)48 (8)15/15
DASA korosec 11 (5)13 (5)16 (5)18 (4)19 (5)23 (5)28 (6)15/15
DE-PSO garcia-nieto 15 (3)18 (3)24 (3)28 (2)32 (4)39 (5)47 (5)15/15
DIRECT posik 4.5 (3)7.2 (1.0)9.0 (1)10 (1)12 (3)32 (37)38 (36)5/5
EDA-PSO el-abd 13 (5)31 (12)58 (15)84 (17)106 (21)153 (28)201 (19)15/15
FULLNEWUOA ros 1.7 (1)4.2 (3)8.2 (5)12 (5)16 (8)22 (9)29 (12)15/15
G3PCX posik 43 (46)86 (82)117 (88)133 (100)165 (125)195 (127)232 (144)15/15
GA nicolau 282 (82)404 (87)577 (177)774 (106)944 (176)1365 (161)1940 (233)15/15
GLOBAL pal 9.0 (0.5)8.8 (0.7)9.0 (0.9)9.3 (0.7)9.3 (0.6)9.4 (0.6)10 (0.6)15/15
IPOP-SEP-CMA-ES ros 10 (3)12 (3)13 (2)14 (2)14 (2)15 (2)17 (2)15/15
LSfminbnd posik 1.0 (0.4)0.99 (0.2)1.0 (0.2)1.00 (0.2)0.99 (0.2)0.99 (0.2)1 (0.2)15/15
LSstep posik 15 (5)14 (4)14 (4)14 (4)13 (4)13 (4)13 (3)15/15
MA-LS-CHAIN molina 14 (3)19 (8)22 (10)25 (12)30 (16)37 (20)44 (26)15/15
MCS huyer 1.8 (1)1.9 (1)2.3 (2)3.7 (2)4.4 (2)5.2 (2)6.9 (2)15/15
NELDERDOERR doerr 2.3 (1)2.8 (2)3.2 (1)3.6 (1)3.7 (1)4.2 (1)4.6 (1)15/15
NELDER hansen 2.2 (1)3.3 (2)4.3 (2)4.6 (2)4.8 (2)5.1 (2)5.4 (2)15/15
NEWUOA ros 3.4 (4)14 (15)26 (25)33 (29)42 (34)56 (35)72 (38)15/15
ONEFIFTH auger 5859 (1e4)2.0e4 (2e4)4.2e4 (3e4)6.6e4 (5e4)3.1e5 (3e5)3e60/15
POEMS kubalik 286 (85)312 (87)367 (90)447 (105)496 (61)618 (88)720 (91)15/15
PSO Bounds el-abd 148 (161)294 (281)346 (248)505 (463)553 (446)638 (409)920 (355)15/15
PSO el-abd 46 (15)55 (11)66 (9)82 (11)94 (14)121 (18)144 (22)15/15
RANDOMSEARCH auger 6076 (7147)1.7e5 (3e5)3e60/15
Rosenbrock posik 4.9 (4)16 (13)20 (13)22 (11)24 (9)24 (11)26 (10)15/15
VNS garcia-martinez 21 (7)26 (2)27 (2)27 (3)28 (3)29 (3)30 (3)15/15
iAMALGAM bosman 4.5 (2)6.0 (1)7.7 (2)8.8 (2)10 (2)12 (2)14 (3)15/15

Δ fopt
f3, 3-D
1e1
38
1e0
822
1e-1
830
1e-2
835
1e-3
842
1e-5
847
1e-7
853
#succ
15/15
ALPS hornby 25 (17)6.2 (2)8.9 (3)11 (2)13 (3)17 (3)21 (3)15/15
AMALGAM bosman 3.6 (2)4.2 (7)14 (19)15 (19)15 (19)15 (19)15 (19)15/15
BAYEDA gallagher 32 (79)10 (14)60000/15
BFGS ros 41 (35)25 (29)155 (206)154 (177)153 (153)152 (223)151 (154)1/15
BIPOP-CMA-ES hansen 3.2 (2)4.7 (5)25 (29)25 (28)26 (28)26 (28)26 (28)15/15
CMA-ESPLUSSEL auger 8.1 (15)4.0 (5)38 (31)38 (50)37 (52)37 (54)37 (34)9/15
Cauchy-EDA posik 14 (4)7.6 (10)250 (282)2560 (2560)2e50/15
DASA korosec 14 (6)1.4 (0.8)12 (16)12 (16)12 (16)12 (16)12 (16)15/15
DE-PSO garcia-nieto 11 (8)2.7 (1)4.1 (2)4.8 (2)5.6 (2)7.3 (5)8.6 (5)6/15
DIRECT posik 4.8 (6)4.1 (6)17 (18)17 (18)17 (18)17 (18)17 (18)5/5
EDA-PSO el-abd 5.6 (2)13 (4)42 (6)44 (3)44 (3)46 (5)49 (5)14/15
FULLNEWUOA ros 4.9 (4)3.3 (4)15 (21)15 (26)15 (17)15 (15)15 (18)11/15
G3PCX posik 73 (106)58 (93)333 (278)331 (494)328 (504)326 (369)324 (530)6/15
GA nicolau 52 (36)15 (3)23 (4)31 (4)41 (10)69 (8)104 (15)15/15
GLOBAL pal 8.2 (0.5)3.6 (3)12 (12)12 (9)12 (10)12 (9)12 (11)3/15
IPOP-SEP-CMA-ES ros 3.4 (2)3.7 (3)14 (10)17 (19)17 (20)17 (19)17 (20)13/15
LSfminbnd posik 1.00 (0.3)38 (42)54 (71)54 (101)53 (59)53 (54)52 (57)3/15
LSstep posik 21 (0.1)1.00 (0.0)1.00 (0.0)1.00 (0.0)1.0 (0.0)1.0 (0.0)1.00 (0.0)15/15
MA-LS-CHAIN molina 6.7 (2)2.3 (2)8.3 (8)8.4 (8)8.4 (8)8.4 (8)8.5 (8)14/15
MCS huyer 6.7 (15)1.2 (3)10 (16)11 (20)11 (20)12 (19)12 (19)15/15
NELDERDOERR doerr 3.0 (3)1.5 (2)8.4 (8)8.3 (8)8.3 (8)8.3 (8)8.3 (8)15/15
NELDER hansen 25 (22)17 (24)103 (104)103 (103)102 (103)101 (102)101 (101)15/15
NEWUOA ros 5.7 (5)5.0 (6)55 (74)54 (72)54 (67)54 (60)53 (84)4/15
ONEFIFTH auger 14 (20)12 (17)69 (54)68 (53)68 (53)67 (53)67 (52)15/15
POEMS kubalik 26 (6)8.2 (6)23 (39)27 (37)31 (41)37 (40)45 (36)15/15
PSO Bounds el-abd 15 (11)8.6 (6)18 (6)22 (6)25 (6)29 (7)41 (15)15/15
PSO el-abd 7.3 (5)3.5 (2)6.1 (3)7.0 (4)7.9 (3)10 (3)11 (4)15/15
RANDOMSEARCH auger 115 (154)5524 (4735)5.1e4 (7e4)3e60/15
Rosenbrock posik 41 (45)27 (31)409 (512)407 (527)403 (303)401 (377)398 (273)1/15
VNS garcia-martinez 8.4 (3)3.8 (3)7.4 (4)7.4 (4)7.6 (4)11 (6)17 (7)15/15
iAMALGAM bosman 12 (2)12 (10)39 (26)39 (26)39 (26)39 (26)39 (26)15/15

Δ fopt
f4, 3-D
1e1
40
1e0
808
1e-1
866
1e-2
921
1e-3
952
1e-5
1015
1e-7
1044
#succ
15/15
ALPS hornby 38 (17)10 (3)16 (10)18 (10)19 (9)23 (9)27 (9)15/15
AMALGAM bosman 23 (4)105 (87)974 (805)949 (807)926 (784)883 (753)873 (741)15/15
BAYEDA gallagher 33 (12)60000/15
BFGS ros 48 (63)54 (64)98360/15
BIPOP-CMA-ES hansen 10 (15)263 (587)3269 (3136)4051 (4218)3919 (3196)3676 (4861)3574 (4064)4/15
CMA-ESPLUSSEL auger 13 (14)21 (30)151 (187)142 (168)137 (168)129 (169)125 (146)3/15
Cauchy-EDA posik 24 (18)1323 (1717)2e50/15
DASA korosec 12 (6)1.2 (0.7)2.0 (1)2.0 (1)2.0 (1)2.1 (1)2.3 (1)15/15
DE-PSO garcia-nieto 13 (5)6.8 (7)18 (10)47 (33)46 (41)44 (28)43 (64)2/15
DIRECT posik 4.9 (5)20 (30)26 (29)44 (123)83 (166)182 (197)184 (203)2/5
EDA-PSO el-abd 16 (20)24 (11)112 (178)107 (170)104 (162)100 (152)100 (145)12/15
FULLNEWUOA ros 11 (11)25 (49)165 (209)155 (166)150 (196)141 (174)137 (179)2/15
G3PCX posik 128 (83)62 (105)430 (585)405 (568)392 (710)367 (371)357 (357)5/15
GA nicolau 91 (59)19 (4)24 (5)34 (6)42 (7)63 (13)114 (17)14/15
GLOBAL pal 12 (8)7.9 (8)51 (46)48 (57)46 (47)43 (46)42 (51)1/15
IPOP-SEP-CMA-ES ros 6.4 (3)83 (112)3e40/15
LSfminbnd posik 1.0 (0.3)1e40/15
LSstep posik 17 (5)1.00 (0.0)1.0 (0.1)1.0 (0.1)1.0 (0.1)1.00 (0.1)1.00 (0.1)12/15
MA-LS-CHAIN molina 10 (4)5.6 (5)60 (54)57 (61)55 (59)52 (45)51 (70)8/15
MCS huyer 6.0 (9)10 (3)67 (50)63 (55)61 (71)57 (50)56 (89)6/15
NELDERDOERR doerr 4.6 (5)7.8 (8)43 (49)40 (43)39 (40)37 (41)36 (44)12/15
NELDER hansen 34 (44)72 (70)322 (388)302 (402)293 (317)274 (226)267 (291)10/15
NEWUOA ros 25 (33)21 (25)302 (437)284 (273)275 (372)258 (211)251 (263)1/15
ONEFIFTH auger 32 (36)33 (45)228 (282)214 (265)207 (257)195 (241)189 (234)15/15
POEMS kubalik 49 (25)13 (8)46 (43)47 (39)48 (38)53 (35)57 (34)15/15
PSO Bounds el-abd 28 (15)21 (17)28 (21)36 (28)36 (28)39 (23)51 (19)15/15
PSO el-abd 15 (11)6.0 (3)98 (175)93 (257)91 (171)87 (150)87 (146)12/15
RANDOMSEARCH auger 225 (195)1.6e4 (2e4)3e60/15
Rosenbrock posik 43 (51)44 (58)139 (117)130 (108)126 (145)118 (135)115 (130)3/15
VNS garcia-martinez 19 (19)7.6 (6)20 (17)19 (16)19 (16)22 (16)50 (34)15/15
iAMALGAM bosman 12 (3)126 (124)860 (906)820 (854)797 (831)756 (793)743 (780)14/15

Δ fopt
f5, 3-D
1e1
7.0
1e0
7.0
1e-1
7.0
1e-2
7.0
1e-3
7.0
1e-5
7.0
1e-7
7.0
#succ
15/15
ALPS hornby 26 (27)84 (36)93 (30)98 (31)103 (28)106 (26)106 (26)15/15
AMALGAM bosman 11 (5)19 (9)20 (9)20 (9)20 (9)20 (9)20 (9)15/15
BAYEDA gallagher 21 (34)344 (458)347 (867)347 (439)347 (858)347 (484)347 (884)11/15
BFGS ros 1.5 (0.3)2.3 (0.9)2.4 (0.6)2.4 (0.6)2.4 (0.6)2.4 (0.6)2.4 (0.6)15/15
BIPOP-CMA-ES hansen 3.4 (2)5.1 (2)5.4 (2)5.4 (2)5.4 (2)5.4 (2)5.4 (2)15/15
CMA-ESPLUSSEL auger 2.0 (0.7)2.5 (0.9)2.6 (1)2.7 (1)2.7 (1)2.7 (1)2.7 (1)15/15
Cauchy-EDA posik 19 (10)21 (10)22 (12)22 (12)22 (12)22 (12)22 (12)15/15
DASA korosec 18 (11)29 (12)34 (11)38 (8)42 (9)50 (9)58 (9)15/15
DE-PSO garcia-nieto 15 (8)33 (14)36 (9)36 (9)36 (9)36 (9)36 (9)15/15
DIRECT posik 3.5 (0.1)4.3 (0.1)5.8 (0.1)5.8 (0.1)5.8 (0.1)5.8 (0.1)5.8 (0.1)5/5
EDA-PSO el-abd 8.0 (5)15 (4)16 (4)16 (4)16 (4)16 (4)16 (4)15/15
FULLNEWUOA ros 1.1 (0.4)1.6 (0.3)1.7 (0.1)1.7 (0.1)1.7 (0.1)1.7 (0.1)1.7 (0.1)15/15
G3PCX posik 8.8 (8)21 (5)23 (9)24 (9)24 (9)24 (9)24 (9)15/15
GA nicolau 13 (13)1017 (227)2859 (304)4566 (769)7086 (1150)1.5e4 (1809)3e50/15
GLOBAL pal 29 (17)44 (0.9)45 (0.8)45 (0.9)45 (0.9)45 (0.9)45 (0.9)15/15
IPOP-SEP-CMA-ES ros 3.9 (3)6.3 (3)6.6 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)15/15
LSfminbnd posik 7.0 (3)10 (0.1)11 (0.1)11 (0)11 (0)11 (0)11 (0)15/15
LSstep posik 88 (29)114 (0.1)114 (0.1)114 (0.1)114 (0.1)114 (0.1)114 (0.1)15/15
MA-LS-CHAIN molina 24 (16)83 (6)87 (6)87 (6)87 (6)87 (6)87 (6)15/15
MCS huyer 0.94 (0.1)0.94 (0.1)0.94 (0.1)0.94 (0.1)0.94 (0.1)0.94 (0.1)0.94 (0.1)15/15
NELDERDOERR doerr 1.3 (0.9)2.3 (0.9)2.3 (0.9)2.3 (0.9)2.3 (0.9)2.3 (0.9)2.3 (0.9)15/15
NELDER hansen 1.5 (0.6)2.3 (1)2.4 (2)2.4 (2)2.4 (2)2.4 (2)2.4 (2)15/15
NEWUOA ros 1.1 (0.2)1.3 (0.3)1.4 (0.3)1.4 (0.3)1.4 (0.3)1.4 (0.3)1.4 (0.3)15/15
ONEFIFTH auger 2.1 (2)2.8 (2)2.9 (2)2.9 (2)2.9 (2)2.9 (2)2.9 (2)15/15
POEMS kubalik 110 (27)146 (29)164 (20)171 (4)171 (4)171 (4)171 (4)15/15
PSO Bounds el-abd 5.9 (3)13 (3)14 (6)14 (6)14 (6)14 (6)14 (6)15/15
PSO el-abd 7.7 (3)15 (6)17 (7)17 (7)17 (7)17 (7)17 (7)15/15
RANDOMSEARCH auger 32 (26)1.7e4 (2e4)6.1e6 (5e6)3e60/15
Rosenbrock posik 3.1 (0.9)3.4 (0.5)3.4 (0.5)3.4 (0.5)3.4 (0.5)3.4 (0.5)3.4 (0.5)15/15
VNS garcia-martinez 17 (2)19 (2)19 (2)19 (2)19 (2)19 (2)19 (2)15/15
iAMALGAM bosman 3.3 (2)7.8 (5)8.3 (5)8.3 (5)8.3 (5)8.3 (5)8.3 (5)15/15

Δ fopt
f6, 3-D
1e1
34
1e0
56
1e-1
90
1e-2
117
1e-3
149
1e-5
215
1e-7
265
#succ
15/15
ALPS hornby 9.1 (8)35 (19)46 (13)52 (11)58 (11)64 (10)72 (9)15/15
AMALGAM bosman 3.6 (3)5.5 (2)5.5 (2)6.3 (2)6.4 (2)6.8 (1)7.5 (2)15/15
BAYEDA gallagher 127 (140)60000/15
BFGS ros 3.5 (3)3.4 (2)2.9 (1)2.4 (0.8)2.0 (0.6)1.9 (0.5)3.1 (3)15/15
BIPOP-CMA-ES hansen 2.4 (2)3.2 (2)3.2 (0.9)3.2 (1)3.2 (0.7)3.0 (0.6)3.2 (0.5)15/15
CMA-ESPLUSSEL auger 1.3 (1)1.6 (1)1.8 (1.0)1.7 (0.7)1.6 (0.6)1.6 (0.5)1.6 (0.4)15/15
Cauchy-EDA posik 27 (18)31 (10)28 (7)27 (7)26 (6)24 (4)25 (4)15/15
DASA korosec 30 (27)32 (26)30 (40)36 (39)55 (64)54 (54)66 (75)15/15
DE-PSO garcia-nieto 5.9 (6)11 (3)11 (3)13 (3)14 (4)13 (3)14 (3)15/15
DIRECT posik 2.9 (4)33 (45)437 (757)1336 (1719)2714 (3357)1e50/5
EDA-PSO el-abd 2.6 (2)13 (5)28 (23)42 (24)59 (18)66 (19)76 (17)15/15
FULLNEWUOA ros 4.0 (5)5.1 (5)5.1 (7)5.4 (7)5.7 (6)6.1 (6)6.8 (6)15/15
G3PCX posik 3.5 (1)3.3 (2)2.9 (1)3.1 (2)3.2 (2)4.3 (2)4.8 (3)15/15
GA nicolau 8.9 (12)102 (69)272 (145)4167 (5167)4364 (5565)4387 (4938)1.6e4 (2e4)0/15
GLOBAL pal 5.1 (4)5.5 (0.3)4.0 (0.2)3.3 (0.1)2.8 (0.3)2.3 (0.4)2.3 (0.5)12/15
IPOP-SEP-CMA-ES ros 2.7 (2)3.7 (2)3.3 (1)3.5 (1)3.6 (1)3.6 (0.9)3.6 (0.7)15/15
LSfminbnd posik 487 (1104)810 (806)507 (916)394 (450)313 (453)224 (419)187 (227)6/15
LSstep posik 1143 (1330)988 (894)1005 (1769)817 (1090)675 (511)668 (728)1685 (1387)0/15
MA-LS-CHAIN molina 4.3 (4)10 (4)10 (5)10 (5)9.1 (4)8.2 (4)8.1 (2)15/15
MCS huyer 3.0 (4)164 (313)118 (195)141 (224)144 (180)153 (183)213 (252)2/15
NELDERDOERR doerr 0.99 (0.6)1 (0.4)1.0 (0.2)1.00 (0.2)1.0 (0.3)1.00 (0.3)1.00 (0.2)15/15
NELDER hansen 1.7 (1)1.5 (1)1.3 (1)1.3 (0.8)1.2 (0.6)1.2 (0.5)1.3 (0.4)15/15
NEWUOA ros 2.1 (2)3.4 (3)3.8 (3)4.0 (3)4.1 (3)4.1 (2)4.8 (3)15/15
ONEFIFTH auger 1.6 (1)2.0 (1)1.8 (0.8)1.8 (0.9)2.0 (1)2.1 (1)3.0 (3)15/15
POEMS kubalik 31 (14)74 (38)83 (15)92 (11)101 (12)99 (9)110 (5)15/15
PSO Bounds el-abd 2.8 (2)12 (8)26 (11)104 (127)117 (130)123 (127)121 (102)15/15
PSO el-abd 2.8 (2)8.0 (3)13 (5)16 (5)18 (4)25 (4)28 (3)15/15
RANDOMSEARCH auger 7.6 (7)200 (251)8764 (8513)1.1e5 (1e5)3e60/15
Rosenbrock posik 2.1 (2)1.8 (1)1.7 (1)1.7 (1)1.6 (0.9)1.7 (0.9)1.6 (0.9)15/15
VNS garcia-martinez 5.5 (4)5.9 (1)4.8 (1.0)4.6 (0.7)4.3 (0.7)3.9 (0.5)3.8 (0.5)15/15
iAMALGAM bosman 2.1 (1)2.9 (1)3.1 (0.7)3.7 (1)4.1 (1)4.3 (1)4.8 (1)15/15

Δ fopt
f7, 3-D
1e1
11
1e0
65
1e-1
342
1e-2
464
1e-3
482
1e-5
482
1e-7
535
#succ
15/15
ALPS hornby 6.5 (8)10 (8)7.0 (2)8.7 (2)9.3 (3)9.3 (3)11 (2)15/15
AMALGAM bosman 2.7 (3)1.6 (0.8)2.1 (0.3)3.1 (9)3.0 (9)3.0 (9)2.9 (8)15/15
BAYEDA gallagher 3.7 (5)52 (94)72 (105)85 (68)60000/15
BFGS ros 17 (26)86 (94)4000/15
BIPOP-CMA-ES hansen 3.4 (4)2.8 (3)1.1 (1)1 (0.8)1.00 (0.7)1.00 (0.7)1.0 (0.7)15/15
CMA-ESPLUSSEL auger 2.8 (1)2.1 (2)1 (0.7)1.4 (1)1.4 (1)1.4 (1)1.3 (1)15/15
Cauchy-EDA posik 15 (14)6.1 (3)1.9 (0.4)1.8 (0.4)1.9 (0.4)1.9 (0.4)2.0 (0.3)15/15
DASA korosec 88 (131)264 (384)123 (132)1268 (2819)1618 (2759)1618 (3395)1458 (2465)13/15
DE-PSO garcia-nieto 5.3 (4)6.1 (2)5.9 (9)5.1 (7)5.1 (13)5.1 (6)5.3 (6)12/15
DIRECT posik 3.0 (5)2.8 (3)2.1 (1)31 (72)34 (70)34 (70)30 (63)5/5
EDA-PSO el-abd 3.4 (4)3.7 (2)8.8 (8)17 (8)20 (8)20 (8)22 (9)15/15
FULLNEWUOA ros 1.1 (0.1)1.00 (1)1.4 (2)2.2 (3)6.8 (7)6.8 (7)6.2 (6)14/15
G3PCX posik 6.4 (5)8.2 (9)12 (19)16 (24)54 (77)54 (89)48 (78)13/15
GA nicolau 3.5 (4)24 (25)27 (11)134 (324)196 (480)196 (324)252 (570)10/15
GLOBAL pal 6.4 (6)5.4 (5)4.6 (5)8.8 (13)51 (49)51 (49)46 (39)1/15
IPOP-SEP-CMA-ES ros 2.8 (3)2.9 (3)1.4 (1)1.3 (0.9)1.3 (1.0)1.3 (1.0)1.4 (0.8)15/15
LSfminbnd posik 48 (59)67 (85)33 (42)101 (98)289 (348)289 (427)263 (351)3/15
LSstep posik 313 (273)323 (272)392 (563)934 (1342)3e40/15
MA-LS-CHAIN molina 6.3 (5)4.3 (4)2.2 (1)3.1 (2)3.9 (2)3.9 (2)3.9 (2)15/15
MCS huyer 1.0 (0.5)5.7 (8)2.4 (3)4.2 (3)4.1 (3)4.1 (3)8.8 (12)15/15
NELDERDOERR doerr 7.8 (2)4.2 (9)4.3 (7)4.2 (5)8.8 (6)8.8 (6)8.8 (4)15/15
NELDER hansen 8.3 (0.9)28 (35)20 (22)23 (24)30 (40)30 (40)27 (36)15/15
NEWUOA ros 12 (16)12 (22)10 (8)14 (11)39 (47)39 (48)35 (44)9/15
ONEFIFTH auger 2.0 (1)3.6 (4)3.9 (5)7.7 (10)9.3 (13)9.3 (13)8.4 (11)15/15
POEMS kubalik 84 (23)29 (19)12 (8)18 (4)21 (3)21 (3)20 (3)15/15
PSO Bounds el-abd 4.3 (4)7.3 (7)4.8 (2)9.3 (5)12 (6)12 (6)13 (6)15/15
PSO el-abd 3.6 (3)5.3 (3)3.1 (1)4.4 (4)5.1 (3)5.1 (3)5.1 (3)15/15
RANDOMSEARCH auger 5.2 (5)30 (40)134 (125)3851 (3661)1.6e4 (1e4)1.6e4 (2e4)3e60/15
Rosenbrock posik 101 (84)153 (147)369 (345)89260/15
VNS garcia-martinez 7.8 (9)4.2 (3)2.6 (4)3.0 (4)4.1 (4)4.1 (4)3.9 (4)15/15
iAMALGAM bosman 2.7 (3)15 (2)8.1 (19)6.1 (14)5.9 (14)5.9 (14)5.4 (12)15/15

Δ fopt
f8, 3-D
1e1
27
1e0
45
1e-1
152
1e-2
179
1e-3
188
1e-5
198
1e-7
208
#succ
15/15
ALPS hornby 23 (22)46 (20)33 (16)64 (36)91 (45)148 (49)212 (78)15/15
AMALGAM bosman 3.8 (1)10 (7)5.8 (4)6.2 (3)6.9 (3)7.8 (3)8.3 (3)15/15
BAYEDA gallagher 11 (8)105 (176)561 (523)60000/15
BFGS ros 1.4 (0.8)2.7 (2)1.1 (0.5)1.0 (0.4)1.0 (0.4)1.0 (0.4)1.0 (0.3)15/15
BIPOP-CMA-ES hansen 3.5 (2)8.0 (7)4.5 (2)4.8 (2)5.1 (2)5.4 (2)5.6 (2)15/15
CMA-ESPLUSSEL auger 1.9 (0.8)6.2 (8)2.8 (3)2.8 (3)3.0 (3)3.2 (2)3.4 (2)15/15
Cauchy-EDA posik 21 (10)27 (19)13 (5)14 (5)15 (5)16 (5)17 (4)15/15
DASA korosec 15 (12)470 (856)468 (546)739 (695)1155 (673)1980 (710)2849 (531)15/15
DE-PSO garcia-nieto 7.7 (5)14 (8)11 (4)24 (13)63 (96)60400/15
DIRECT posik 2.0 (2)4.9 (5)3.5 (2)9.0 (6)15 (4)29 (16)43 (27)5/5
EDA-PSO el-abd 6.9 (3)74 (62)70 (32)110 (44)153 (34)263 (65)371 (76)15/15
FULLNEWUOA ros 1.4 (0.7)2.8 (2)1.0 (0.5)1.0 (0.4)1.00 (0.4)1.00 (0.4)1.0 (0.4)15/15
G3PCX posik 4.3 (0.3)16 (27)9.0 (9)9.2 (7)9.1 (7)9.1 (6)9.0 (6)15/15
GA nicolau 47 (60)164 (82)403 (991)3e50/15
GLOBAL pal 11 (0.7)8.2 (1)2.8 (0.5)2.6 (0.3)2.5 (0.3)2.5 (0.3)2.5 (0.3)15/15
IPOP-SEP-CMA-ES ros 3.0 (2)8.2 (9)6.2 (3)6.6 (1)6.9 (1.0)7.1 (1.0)7.3 (1.0)15/15
LSfminbnd posik 24 (3)808 (1157)2763 (2862)2347 (3226)2234 (2513)3e40/15
LSstep posik 51 (26)678 (1047)2792 (1875)2371 (2556)2258 (2035)2144 (3068)3e40/15
MA-LS-CHAIN molina 6.6 (3)13 (12)7.7 (5)10 (5)11 (5)12 (3)12 (3)15/15
MCS huyer 1.0 (0.5)1.00 (0.7)7.1 (17)6.2 (14)6.1 (14)5.9 (13)5.7 (12)15/15
NELDERDOERR doerr 1.6 (0.9)4.0 (3)1.5 (1.0)1.4 (0.8)1.4 (0.8)1.5 (0.7)1.5 (0.6)15/15
NELDER hansen 1.0 (0.4)2.1 (2)1.00 (0.5)1.00 (0.4)1.0 (0.4)1.1 (0.4)1.2 (0.4)15/15
NEWUOA ros 1.4 (0.4)2.8 (2)1.2 (0.7)1.1 (0.6)1.2 (0.5)1.2 (0.5)1.2 (0.5)15/15
ONEFIFTH auger 2.8 (2)44 (67)20 (24)38 (20)64 (16)119 (18)171 (18)15/15
POEMS kubalik 37 (16)94 (36)48 (19)68 (30)168 (189)325 (205)409 (340)15/15
PSO Bounds el-abd 18 (10)60 (30)156 (92)581 (689)730 (728)916 (854)998 (694)13/15
PSO el-abd 10 (6)46 (52)51 (29)91 (49)147 (64)263 (63)382 (100)15/15
RANDOMSEARCH auger 43 (75)1033 (1303)1.0e4 (8093)1.2e5 (2e5)3e60/15
Rosenbrock posik 1.7 (0.7)6.8 (6)3.0 (2)3.0 (1)3.0 (1)3.1 (1)3.1 (1)15/15
VNS garcia-martinez 7.8 (3)9.4 (4)5.1 (2)5.3 (2)5.6 (2)5.9 (2)6.1 (2)15/15
iAMALGAM bosman 2.2 (2)8.1 (7)4.5 (2)4.9 (2)5.0 (2)5.6 (2)5.9 (2)15/15

Δ fopt
f9, 3-D
1e1
21
1e0
65
1e-1
127
1e-2
149
1e-3
159
1e-5
169
1e-7
178
#succ
15/15
ALPS hornby 29 (23)31 (13)48 (20)83 (40)105 (50)166 (46)222 (63)15/15
AMALGAM bosman 5.3 (2)6.2 (4)6.0 (3)6.5 (3)7.1 (3)8.1 (3)8.6 (3)15/15
BAYEDA gallagher 12 (8)114 (139)60000/15
BFGS ros 1.5 (0.8)1.5 (1)1.1 (0.5)1.1 (0.5)1.1 (0.4)1.1 (0.4)1.0 (0.4)15/15
BIPOP-CMA-ES hansen 3.9 (2)4.6 (3)4.4 (2)4.7 (2)4.9 (2)5.3 (2)5.6 (2)15/15
CMA-ESPLUSSEL auger 2.7 (1)4.5 (5)3.6 (3)3.6 (2)3.7 (2)3.9 (2)4.1 (2)15/15
Cauchy-EDA posik 24 (12)17 (6)16 (6)17 (5)17 (5)19 (4)20 (5)15/15
DASA korosec 23 (12)795 (1205)716 (678)982 (716)1442 (835)2495 (1190)3611 (1898)15/15
DE-PSO garcia-nieto 15 (6)19 (18)27 (16)55 (49)567 (437)60400/15
DIRECT posik 1.5 (0.2)1.7 (1)6.3 (5)9.1 (5)18 (11)29 (14)38 (18)5/5
EDA-PSO el-abd 7.4 (6)49 (54)69 (28)119 (42)186 (71)345 (184)495 (325)15/15
FULLNEWUOA ros 1.6 (0.9)1.4 (2)1.0 (0.9)1 (0.8)1.0 (0.7)1.00 (0.7)1.0 (0.6)15/15
G3PCX posik 5.3 (1)15 (16)12 (9)12 (8)12 (7)12 (7)12 (6)15/15
GA nicolau 49 (61)104 (49)3768 (3621)2.8e4 (3e4)3e50/15
GLOBAL pal 13 (6)6.2 (2)3.6 (1)3.2 (0.9)3.1 (0.8)3.1 (0.8)3.1 (0.8)15/15
IPOP-SEP-CMA-ES ros 3.6 (1)5.6 (8)7.4 (5)8.2 (2)8.2 (2)8.3 (2)8.4 (2)15/15
LSfminbnd posik 4.7 (4)186 (316)306 (246)875 (750)1294 (1151)2631 (1908)3e40/15
LSstep posik 173 (57)404 (502)3320 (2657)2843 (3121)3e40/15
MA-LS-CHAIN molina 11 (4)10 (4)8.7 (5)10 (6)11 (5)12 (3)13 (3)15/15
MCS huyer 0.99 (0.3)1.0 (1)1.0 (0.7)1.1 (0.6)1.1 (0.6)1.2 (0.6)1.2 (0.5)15/15
NELDERDOERR doerr 1.5 (0.9)1.4 (0.9)1.1 (0.5)1.1 (0.5)1.1 (0.5)1.2 (0.4)1.3 (0.4)15/15
NELDER hansen 1.2 (0.6)1.2 (1)1.0 (0.7)1.0 (0.5)1.1 (0.5)1.2 (0.5)1.3 (0.5)15/15
NEWUOA ros 1.7 (1)1.7 (1)1.2 (0.6)1.2 (0.5)1.2 (0.5)1.3 (0.5)1.3 (0.5)15/15
ONEFIFTH auger 2.6 (0.7)80 (118)71 (73)88 (88)116 (84)179 (78)237 (81)15/15
POEMS kubalik 65 (34)69 (36)68 (26)147 (265)248 (464)499 (632)911 (2102)9/15
PSO Bounds el-abd 13 (17)78 (70)375 (211)527 (337)672 (357)882 (475)1031 (619)12/15
PSO el-abd 11 (9)17 (7)34 (21)66 (58)126 (112)274 (208)443 (286)15/15
RANDOMSEARCH auger 43 (52)679 (993)1.0e4 (1e4)2.9e5 (2e5)3e60/15
Rosenbrock posik 1.6 (1)2.6 (4)2.7 (3)2.6 (2)2.7 (2)2.9 (2)2.9 (2)15/15
VNS garcia-martinez 11 (2)6.8 (3)6.0 (2)6.2 (2)6.3 (1)6.7 (1)7.0 (1)15/15
iAMALGAM bosman 3.2 (1)5.0 (3)4.9 (3)5.0 (2)5.5 (2)6.0 (2)6.4 (2)15/15

Δ fopt
f10, 3-D
1e1
114
1e0
152
1e-1
168
1e-2
180
1e-3
194
1e-5
218
1e-7
242
#succ
15/15
ALPS hornby 50 (20)120 (64)363 (347)706 (524)1281 (896)2629 (1108)7051 (5077)9/15
AMALGAM bosman 2.0 (0.8)2.3 (0.9)2.7 (0.8)2.9 (1)3.2 (1)3.6 (0.9)3.8 (1)15/15
BAYEDA gallagher 60000/15
BFGS ros 1.0 (0.5)1.2 (0.3)1.2 (0.2)1.2 (0.2)1.4 (0.8)5.9 (6)76 (67)3/15
BIPOP-CMA-ES hansen 4.1 (2)4.1 (2)4.6 (2)4.9 (0.6)4.9 (0.5)4.9 (0.5)4.8 (0.5)15/15
CMA-ESPLUSSEL auger 2.7 (2)2.7 (1)2.7 (1)3.0 (0.6)3.1 (0.5)3.0 (0.4)3.0 (0.3)15/15
Cauchy-EDA posik 6.3 (3)6.2 (2)6.7 (3)7.3 (2)7.8 (2)8.7 (2)10 (2)15/15
DASA korosec 1.1e4 (2e4)4.4e4 (6e4)2.5e5 (2e5)3e60/15
DE-PSO garcia-nieto 67 (58)112 (209)60400/15
DIRECT posik 7.6 (5)49 (77)118 (142)162 (174)494 (533)1000 (688)1968 (2584)0/5
EDA-PSO el-abd 213 (198)2446 (3624)4214 (5778)7050 (9998)1.1e4 (8779)3e50/15
FULLNEWUOA ros 1.6 (2)2.6 (3)3.8 (3)4.4 (3)4.9 (3)6.0 (3)7.1 (3)15/15
G3PCX posik 14 (16)21 (19)28 (19)30 (15)36 (21)41 (21)42 (18)15/15
GA nicolau 202 (131)2001 (2451)1.2e4 (1e4)3e50/15
GLOBAL pal 3.3 (0.4)2.8 (0.4)2.7 (0.3)2.6 (0.3)2.5 (0.2)2.3 (0.2)2.2 (0.2)15/15
IPOP-SEP-CMA-ES ros 11 (5)10 (0.8)10 (0.8)9.3 (0.7)8.8 (0.6)8.3 (0.6)7.8 (0.6)15/15
LSfminbnd posik 1746 (2885)2784 (1826)2530 (2455)3e40/15
LSstep posik 1711 (2237)3e40/15
MA-LS-CHAIN molina 10 (8)11 (7)12 (6)12 (5)13 (3)12 (4)12 (2)15/15
MCS huyer 67 (88)168 (105)824 (839)4119 (3685)3822 (4903)5e40/15
NELDERDOERR doerr 1.1 (0.8)1.1 (0.5)1.1 (0.4)1.1 (0.4)1.1 (0.4)1.0 (0.3)1.0 (0.3)15/15
NELDER hansen 1.00 (0.5)1.0 (0.3)1.00 (0.2)1.0 (0.2)1.00 (0.2)1.0 (0.2)1.00 (0.2)15/15
NEWUOA ros 2.8 (2)5.2 (3)8.3 (4)10 (5)12 (7)14 (8)16 (7)15/15
ONEFIFTH auger 2115 (4151)6187 (5615)1.2e4 (5980)2.3e4 (2e4)7.6e4 (8e4)3e60/15
POEMS kubalik 412 (944)1628 (1727)5312 (7902)1.2e4 (1e4)3e50/15
PSO Bounds el-abd 2083 (5135)8028 (8882)1.2e4 (1e4)1.1e4 (1e4)2.2e4 (2e4)2.0e4 (4e4)1.8e4 (3e4)1/15
PSO el-abd 59 (36)1053 (1418)2446 (3693)3650 (7083)4760 (6274)6498 (3440)1.8e4 (9917)1/15
RANDOMSEARCH auger 2052 (2776)6.0e4 (8e4)2.5e5 (3e5)3e60/15
Rosenbrock posik 8.5 (16)7.8 (12)7.2 (10)6.8 (10)6.5 (9)6.9 (8)6.5 (7)15/15
VNS garcia-martinez 5.9 (2)6.0 (0.6)5.9 (0.4)5.8 (0.4)5.7 (0.3)5.5 (0.3)5.3 (0.3)15/15
iAMALGAM bosman 1.8 (0.7)2.1 (0.9)2.6 (1)2.9 (1)3.0 (1)3.2 (1)3.3 (1)15/15

Δ fopt
f11, 3-D
1e1
67
1e0
105
1e-1
227
1e-2
263
1e-3
277
1e-5
302
1e-7
327
#succ
15/15
ALPS hornby 31 (24)123 (89)248 (240)515 (488)1089 (855)2566 (1376)4965 (3126)11/15
AMALGAM bosman 3.1 (1)3.0 (2)1.7 (0.9)1.9 (0.9)2.1 (1)2.5 (1.0)2.8 (1)15/15
BAYEDA gallagher 91 (91)815 (1329)60000/15
BFGS ros 1.0 (0.7)1.0 (0.2)1.0 (0.7)1.4 (1)3.7 (4)41 (43)2e40/15
BIPOP-CMA-ES hansen 10 (3)7.5 (1)4.0 (0.5)3.6 (0.4)3.7 (0.3)3.7 (0.2)3.6 (0.3)15/15
CMA-ESPLUSSEL auger 5.8 (4)4.6 (2)2.7 (0.2)2.5 (0.2)2.5 (0.2)2.5 (0.2)2.5 (0.2)15/15
Cauchy-EDA posik 7.8 (5)6.5 (2)4.1 (1)4.3 (1)5.0 (1)5.6 (1)6.4 (1.0)15/15
DASA korosec 4636 (7152)9363 (1e4)1.4e4 (2e4)2.2e4 (2e4)3.3e4 (5e4)4.2e4 (3e4)3.9e4 (5e4)3/15
DE-PSO garcia-nieto 127 (78)267 (333)60400/15
DIRECT posik 13 (9)28 (29)153 (194)387 (395)772 (813)1e50/5
EDA-PSO el-abd 75 (72)293 (169)495 (570)1139 (947)5115 (6194)3e50/15
FULLNEWUOA ros 3.2 (2)3.6 (2)2.5 (1)2.6 (1)3.1 (1)3.9 (1)4.7 (2)15/15
G3PCX posik 30 (47)93 (110)100 (110)140 (100)183 (84)256 (111)316 (130)8/15
GA nicolau 74 (59)2073 (4315)5577 (5632)3e50/15
GLOBAL pal 5.4 (0.6)3.9 (0.5)2.0 (0.4)1.8 (0.4)1.8 (0.3)1.7 (0.3)1.7 (0.3)15/15
IPOP-SEP-CMA-ES ros 17 (4)15 (3)7.4 (0.8)6.6 (0.6)6.6 (0.5)6.4 (0.4)6.1 (0.4)15/15
LSfminbnd posik 1791 (3246)3e40/15
LSstep posik 2911 (4366)3e40/15
MA-LS-CHAIN molina 21 (18)22 (10)11 (4)10 (3)10 (3)10 (2)10 (2)15/15
MCS huyer 49 (41)83 (90)101 (89)512 (485)5e40/15
NELDERDOERR doerr 2.3 (2)2.0 (0.7)1.1 (0.3)1 (0.2)1.0 (0.2)1 (0.2)1.0 (0.2)15/15
NELDER hansen 2.2 (2)2.2 (1.0)1.3 (0.5)1.2 (0.4)1.2 (0.4)1.2 (0.4)1.1 (0.3)15/15
NEWUOA ros 3.1 (2)3.4 (2)2.5 (1)2.6 (1.0)3.2 (1)4.0 (1)5.1 (2)15/15
ONEFIFTH auger 8373 (7132)1.5e4 (5715)1.7e4 (7608)1.7e5 (2e5)3e60/15
POEMS kubalik 367 (564)1010 (1372)831 (661)1486 (1772)1741 (1632)2078 (1800)3155 (2523)3/15
PSO Bounds el-abd 245 (99)743 (1437)606 (1363)1040 (987)1568 (2751)1635 (1498)1682 (1937)4/15
PSO el-abd 60 (76)154 (168)164 (122)275 (159)360 (187)534 (230)995 (649)7/15
RANDOMSEARCH auger 133 (231)2176 (2066)6.1e4 (7e4)3e60/15
Rosenbrock posik 17 (26)12 (16)5.9 (7)5.3 (7)5.1 (6)4.9 (6)4.7 (5)14/15
VNS garcia-martinez 14 (3)10 (2)4.8 (0.9)4.5 (0.6)4.4 (0.5)4.4 (0.5)4.3 (0.5)15/15
iAMALGAM bosman 3.1 (1)3.1 (2)1.9 (1)1.9 (1.0)2.0 (0.9)2.2 (0.9)2.4 (0.9)15/15

Δ fopt
f12, 3-D
1e1
65
1e0
168
1e-1
338
1e-2
401
1e-3
445
1e-5
696
1e-7
790
#succ
15/15
ALPS hornby 94 (29)102 (154)169 (174)462 (395)1577 (2218)1.4e4 (1e4)9.3e4 (1e5)0/15
AMALGAM bosman 4.7 (1)4.2 (4)4.8 (4)5.2 (4)5.6 (4)4.9 (4)5.2 (4)15/15
BAYEDA gallagher 66 (97)82 (63)121 (124)216 (277)60000/15
BFGS ros 1.7 (2)1.4 (1)1.00 (0.9)1.00 (0.7)1.00 (0.6)2.3 (2)43 (39)9/15
BIPOP-CMA-ES hansen 7.8 (10)5.7 (6)4.5 (4)4.7 (3)4.8 (3)4.0 (2)4.1 (2)15/15
CMA-ESPLUSSEL auger 8.5 (10)6.1 (7)4.3 (4)4.2 (4)4.2 (4)3.6 (3)3.5 (3)15/15
Cauchy-EDA posik 34 (34)26 (22)17 (14)16 (13)16 (13)13 (9)13 (8)15/15
DASA korosec 3.1e4 (5e4)3.6e4 (5e4)3.6e4 (6e4)3e60/15
DE-PSO garcia-nieto 80 (103)161 (99)263 (219)60400/15
DIRECT posik 7.0 (7)6.5 (7)5.7 (5)10 (7)58 (70)49 (43)244 (253)1/5
EDA-PSO el-abd 957 (2338)1746 (2697)5852 (8654)1.1e4 (7481)9515 (1e4)3e50/15
FULLNEWUOA ros 2.9 (5)2.2 (3)1.6 (2)1.7 (2)1.7 (2)1.5 (2)1.6 (2)15/15
G3PCX posik 6.0 (0.5)11 (12)8.9 (8)9.5 (6)10 (5)7.9 (4)8.1 (4)15/15
GA nicolau 425 (128)2373 (2305)1.3e4 (2e4)1.1e4 (2e4)3e50/15
GLOBAL pal 5.9 (1.0)3.0 (1)2.0 (1.0)2.4 (2)2.4 (2)2.8 (2)4.0 (6)6/15
IPOP-SEP-CMA-ES ros 10 (9)10 (8)8.4 (5)9.1 (9)8.7 (8)7.0 (6)6.8 (6)15/15
LSfminbnd posik 695 (692)1162 (1116)3e40/15
LSstep posik 1372 (1461)789 (880)400 (422)3e40/15
MA-LS-CHAIN molina 25 (24)15 (16)10 (9)11 (7)11 (7)9.1 (5)8.9 (5)15/15
MCS huyer 1.00 (0.8)1.00 (1)1.2 (1)1.2 (1)2.7 (3)4.5 (7)18 (32)9/15
NELDERDOERR doerr 1.7 (1)1.6 (2)1.3 (1)1.2 (1.0)1.3 (0.9)1.00 (0.7)1.0 (0.7)15/15
NELDER hansen 2.0 (2)1.7 (1)1.3 (1)1.3 (1)1.3 (1)1.0 (0.8)1.1 (0.8)15/15
NEWUOA ros 2.0 (2)1.6 (2)1.2 (1)1.2 (1)1.3 (1)1.1 (1)1.2 (1)15/15
ONEFIFTH auger 2.8e4 (5e4)2.7e4 (4e4)3.9e4 (4e4)1.1e5 (9e4)3e60/15
POEMS kubalik 1818 (3484)1646 (2651)3810 (5196)5003 (7810)3e50/15
PSO Bounds el-abd 2008 (3803)2204 (1786)2537 (3126)1.1e4 (2e4)9531 (9270)3e50/15
PSO el-abd 2346 (5771)2703 (2686)5780 (9541)1.0e4 (1e4)3e50/15
RANDOMSEARCH auger 1.6e5 (2e5)3e60/15
Rosenbrock posik 38 (8)19 (9)10 (5)9.4 (4)8.9 (5)7.4 (7)11 (23)12/15
VNS garcia-martinez 13 (12)9.5 (7)6.0 (4)5.6 (4)5.6 (4)4.4 (3)4.4 (3)15/15
iAMALGAM bosman 10 (12)7.9 (7)6.1 (4)6.0 (4)5.9 (4)4.7 (3)4.6 (3)15/15

Δ fopt
f13, 3-D
1e1
49
1e0
85
1e-1
108
1e-2
136
1e-3
215
1e-5
281
1e-7
365
#succ
15/15
ALPS hornby 48 (17)66 (21)100 (52)204 (147)414 (455)5374 (5755)2.2e4 (3e4)4/15
AMALGAM bosman 3.7 (1)3.9 (1)4.2 (1)4.2 (1)3.4 (0.9)3.5 (0.8)3.4 (0.7)15/15
BAYEDA gallagher 46 (93)124 (213)60000/15
BFGS ros 1.1 (0.2)1 (0.2)1.0 (0.2)1.00 (0.2)2.1 (3)409 (321)3e40/15
BIPOP-CMA-ES hansen 3.8 (1)3.8 (1)5.0 (2)6.1 (2)4.5 (1)4.8 (0.6)4.6 (0.8)15/15
CMA-ESPLUSSEL auger 4.1 (4)4.5 (4)5.9 (3)6.9 (5)5.9 (5)6.1 (3)6.0 (3)15/15
Cauchy-EDA posik 14 (4)12 (4)12 (3)12 (2)9.4 (0.9)10 (1.0)9.3 (1)15/15
DASA korosec 317 (464)1052 (1415)1633 (1978)6075 (8110)2.0e4 (2e4)1.5e5 (2e5)3e60/15
DE-PSO garcia-nieto 14 (11)60 (78)100 (127)206 (289)60400/15
DIRECT posik 2.9 (1)6.8 (4)6.8 (3)16 (13)29 (5)61 (41)155 (189)1/5
EDA-PSO el-abd 49 (47)144 (42)398 (80)1412 (2764)5780 (7313)3e50/15
FULLNEWUOA ros 3.0 (6)10 (16)39 (39)78 (124)117 (92)677 (951)3e40/15
G3PCX posik 20 (28)73 (65)97 (85)111 (112)159 (152)227 (272)210 (207)13/15
GA nicolau 152 (59)252 (50)3660 (5611)1.5e4 (1e4)2.0e4 (1e4)3e50/15
GLOBAL pal 6.6 (0.2)4.5 (0.8)6.3 (6)8.4 (12)88 (76)11720/15
IPOP-SEP-CMA-ES ros 8.7 (15)15 (9)16 (3)13 (2)9.0 (2)8.3 (1)7.0 (1.0)15/15
LSfminbnd posik 124 (227)225 (218)618 (1052)1472 (1710)3e40/15
LSstep posik 518 (639)1492 (1620)3e40/15
MA-LS-CHAIN molina 10 (2)13 (7)17 (10)17 (6)13 (4)12 (3)12 (3)15/15
MCS huyer 14 (23)127 (177)374 (408)367 (389)711 (930)5e40/15
NELDERDOERR doerr 1.0 (0.2)1.1 (0.5)1.2 (0.7)1.3 (0.7)1.2 (0.7)1.2 (0.8)1.1 (0.6)15/15
NELDER hansen 1.0 (0.4)1.1 (0.3)1.3 (0.6)1.3 (0.7)1.0 (0.4)1.0 (0.4)1.00 (0.4)15/15
NEWUOA ros 4.6 (4)9.0 (12)43 (54)62 (84)200 (186)2e40/15
ONEFIFTH auger 16 (22)65 (64)125 (121)289 (243)1032 (779)3311 (3935)5.7e4 (6e4)1/15
POEMS kubalik 74 (36)667 (1765)1728 (3471)4885 (5098)3e50/15
PSO Bounds el-abd 988 (3071)1358 (2648)1202 (2143)8967 (9920)9206 (9070)3e50/15
PSO el-abd 19 (9)221 (546)2249 (2792)5000 (5692)2.0e4 (2e4)1.5e4 (2e4)3e50/15
RANDOMSEARCH auger 1331 (1753)1.6e5 (1e5)3e60/15
Rosenbrock posik 5.0 (5)8.6 (7)9.2 (8)20 (15)31 (33)127 (123)322 (314)0/15
VNS garcia-martinez 7.2 (3)6.0 (2)7.8 (3)12 (5)8.5 (3)7.5 (2)7.2 (1)15/15
iAMALGAM bosman 2.9 (2)2.7 (1.0)3.1 (1)3.0 (0.9)2.4 (0.6)2.6 (0.6)2.5 (0.6)15/15

Δ fopt
f14, 3-D
1e1
2.0
1e0
17
1e-1
28
1e-2
43
1e-3
71
1e-5
110
1e-7
194
#succ
15/15
ALPS hornby 2.5 (2)10 (8)56 (22)72 (19)69 (16)203 (124)2463 (3243)15/15
AMALGAM bosman 2.3 (2)2.8 (2)4.6 (0.9)5.0 (1)4.5 (0.9)4.7 (0.8)3.6 (0.6)15/15
BAYEDA gallagher 1.8 (1)59 (177)126 (217)110 (143)249 (365)784 (845)60000/15
BFGS ros 4.1 (4)1.5 (1)1.5 (1)1.3 (0.6)1.1 (0.3)1.0 (0.2)29 (45)4/15
BIPOP-CMA-ES hansen 3.4 (4)2.9 (2)3.6 (2)4.2 (2)4.4 (1)7.1 (1)6.0 (0.7)15/15
CMA-ESPLUSSEL auger 2.3 (2)1.4 (1)2.2 (0.9)2.6 (0.7)2.9 (2)4.2 (2)3.6 (0.5)15/15
Cauchy-EDA posik 22 (45)16 (17)17 (8)19 (6)14 (5)14 (3)11 (2)15/15
DASA korosec 47 (50)24 (18)21 (10)23 (9)51 (46)2890 (4188)4.9e4 (5e4)0/15
DE-PSO garcia-nieto 1.7 (1)4.9 (4)12 (2)16 (4)17 (2)132 (110)60400/15
DIRECT posik 2.0 (2)1.7 (1)2.8 (1)5.5 (3)17 (12)107 (127)484 (737)2/5
EDA-PSO el-abd 2.0 (2)4.2 (3)11 (2)21 (17)76 (47)191 (33)6536 (7035)2/15
FULLNEWUOA ros 6.8 (6)1.5 (0.5)1.2 (0.4)1.0 (0.2)1.0 (0.2)2.3 (0.8)4.4 (1)2/15
G3PCX posik 2.2 (2)4.1 (3)4.7 (0.9)4.3 (2)4.9 (3)45 (60)285 (367)11/15
GA nicolau 2.1 (2)11 (13)158 (132)283 (58)320 (64)6041 (6219)3e50/15
GLOBAL pal 2.7 (2)8.5 (8)11 (0.3)7.5 (0.2)5.1 (0.2)12 (14)7530/15
IPOP-SEP-CMA-ES ros 3.1 (3)2.6 (2)3.6 (0.9)4.2 (1)4.8 (2)11 (1)8.3 (1.0)15/15
LSfminbnd posik 7.9 (14)4.4 (3)3.6 (2)6.1 (4)67 (62)3e40/15
LSstep posik 228 (400)85 (71)71 (50)162 (121)929 (983)3e40/15
MA-LS-CHAIN molina 1.9 (2)6.8 (4)11 (4)12 (2)10 (3)15 (4)13 (2)15/15
MCS huyer 2.7 (4)12 (27)11 (22)7.9 (14)5.7 (8)50 (46)5e40/15
NELDERDOERR doerr 2.9 (2)1.1 (0.6)1.4 (0.4)1.8 (0.7)1.5 (0.3)1.6 (0.4)1.2 (0.2)15/15
NELDER hansen 2.1 (2)1.0 (0.7)1.2 (0.4)1.3 (0.3)1.2 (0.2)1.3 (0.3)1.0 (0.2)15/15
NEWUOA ros 4.5 (3)1.1 (0.7)1.0 (0.4)1.0 (0.3)1.2 (0.3)3.1 (1)17 (18)9/15
ONEFIFTH auger 2.4 (3)1.8 (0.8)1.9 (1)2.5 (0.9)5.8 (3)2367 (135)3e60/15
POEMS kubalik 276 (141)55 (17)92 (62)113 (62)147 (28)224 (44)1.0e4 (1e4)0/15
PSO Bounds el-abd 2.9 (3)4.0 (4)33 (22)62 (29)87 (35)277 (180)1129 (1330)3/15
PSO el-abd 1.1 (0.8)3.2 (2)14 (6)24 (8)30 (12)76 (35)2010 (2656)2/15
RANDOMSEARCH auger 2.3 (2)18 (21)431 (418)1.9e4 (2e4)6.1e5 (7e5)3e60/15
Rosenbrock posik 6.1 (4)1.4 (0.6)1.3 (0.3)1.5 (0.7)2.0 (1)3.1 (2)14 (3)14/15
VNS garcia-martinez 1.1 (0.8)7.2 (7)8.9 (2)8.3 (2)7.5 (1)8.4 (1)7.2 (1.0)15/15
iAMALGAM bosman 3.0 (4)2.4 (2)3.3 (1)3.7 (0.8)3.2 (0.8)3.7 (0.5)3.2 (1)15/15

Δ fopt
f15, 3-D
1e1
121
1e0
1372
1e-1
6285
1e-2
8282
1e-3
8429
1e-5
8787
1e-7
9041
#succ
15/15
ALPS hornby 7.7 (5)5.3 (2)3.9 (4)4.2 (4)4.4 (4)4.8 (4)5.1 (4)15/15
AMALGAM bosman 1.2 (0.8)5.0 (4)3.7 (6)3.1 (5)3.0 (4)3.0 (4)2.9 (4)15/15
BAYEDA gallagher 3.2 (2)11 (16)14 (20)60000/15
BFGS ros 7.3 (7)17 (20)22 (23)17 (23)16 (15)16 (20)15 (19)1/15
BIPOP-CMA-ES hansen 2.0 (0.7)1.3 (1)1.7 (1)1.3 (1)1.3 (1)1.3 (1)1.3 (1)15/15
CMA-ESPLUSSEL auger 1.0 (0.3)5.8 (7)9.5 (10)7.2 (8)7.1 (8)6.8 (6)6.6 (8)6/15
Cauchy-EDA posik 3.9 (2)5.4 (6)27 (32)2e50/15
DASA korosec 57 (69)202 (357)197 (183)149 (139)147 (136)141 (131)137 (127)14/15
DE-PSO garcia-nieto 3.4 (2)6.6 (7)3.3 (5)2.6 (2)2.6 (3)60400/15
DIRECT posik 1.0 (0.3)1.5 (1)1.0 (2)1.7 (2)1.7 (2)1.7 (2)1.7 (2)5/5
EDA-PSO el-abd 3.8 (3)7.4 (5)9.5 (24)7.4 (18)7.3 (18)7.4 (17)7.5 (17)13/15
FULLNEWUOA ros 2.2 (3)2.8 (3)8.8 (10)6.7 (8)6.5 (12)6.3 (8)6.1 (9)4/15
G3PCX posik 40 (44)28 (30)39 (43)30 (38)29 (24)28 (31)27 (31)7/15
GA nicolau 14 (11)20 (8)62 (85)62 (56)62 (63)83 (125)150 (159)3/15
GLOBAL pal 2.7 (0.2)3.2 (4)3.9 (4)3.0 (5)2.9 (4)2.8 (5)2.7 (4)1/15
IPOP-SEP-CMA-ES ros 2.3 (4)2.2 (2)1.3 (0.8)1.00 (0.6)1.00 (0.6)1.00 (0.6)1.0 (0.6)15/15
LSfminbnd posik 4.8 (6)21 (29)20 (20)15 (15)15 (18)15 (16)14 (13)3/15
LSstep posik 385 (631)144 (201)67 (73)51 (57)50 (50)49 (61)48 (37)1/15
MA-LS-CHAIN molina 2.6 (1)1.6 (1)3.3 (6)2.5 (3)2.5 (3)2.4 (3)2.4 (4)11/15
MCS huyer 1.8 (3)1 (0.4)1.8 (2)1.4 (2)1.3 (2)1.6 (2)1.5 (2)15/15
NELDERDOERR doerr 1.4 (2)1.0 (1)2.5 (4)1.9 (3)1.9 (3)1.8 (3)1.8 (3)13/15
NELDER hansen 2.3 (4)4.6 (8)9.4 (11)7.1 (8)7.0 (8)6.7 (8)6.5 (8)14/15
NEWUOA ros 3.5 (6)3.4 (3)4.5 (5)3.4 (4)3.3 (3)3.2 (3)3.1 (5)6/15
ONEFIFTH auger 3.4 (3)6.2 (6)13 (13)10 (10)10 (9)10 (9)9.3 (9)15/15
POEMS kubalik 14 (5)32 (29)77 (110)59 (75)58 (80)57 (77)56 (79)6/15
PSO Bounds el-abd 2.8 (3)27 (28)27 (25)21 (19)22 (29)21 (18)22 (27)10/15
PSO el-abd 2.7 (2)4.0 (1)58 (84)44 (55)44 (71)42 (37)41 (76)7/15
RANDOMSEARCH auger 29 (34)1548 (1682)3e60/15
Rosenbrock posik 11 (13)11 (13)19 (27)15 (14)14 (13)14 (17)13 (11)3/15
VNS garcia-martinez 3.0 (0.8)3.0 (2)3.7 (4)2.8 (3)2.8 (3)2.9 (2)4.5 (4)15/15
iAMALGAM bosman 6.2 (20)5.6 (6)4.6 (4)3.6 (3)3.6 (3)3.5 (3)3.4 (3)15/15

Δ fopt
f16, 3-D
1e1
41
1e0
319
1e-1
582
1e-2
789
1e-3
1864
1e-5
3204
1e-7
3361
#succ
15/15
ALPS hornby 1.1 (0.8)5.9 (4)9.1 (2)13 (4)9.0 (3)10 (9)16 (12)15/15
AMALGAM bosman 1.8 (2)5.2 (4)10 (13)11 (22)6.0 (9)3.9 (6)3.7 (5)15/15
BAYEDA gallagher 1.6 (2)25 (20)60000/15
BFGS ros 71 (61)154 (245)2e40/15
BIPOP-CMA-ES hansen 2.1 (2)3.5 (3)4.3 (4)3.3 (3)1.7 (1)1.1 (0.8)1.1 (0.8)15/15
CMA-ESPLUSSEL auger 4.3 (9)4.8 (7)7.9 (12)10 (12)10 (6)10 (7)18 (20)4/15
Cauchy-EDA posik 5.2 (6)28 (30)1111 (1023)2e50/15
DASA korosec 37 (105)135 (180)303 (428)507 (481)1000 (1228)2901 (2863)2862 (2242)2/15
DE-PSO garcia-nieto 3.8 (5)5.9 (5)29 (21)60400/15
DIRECT posik 1.2 (1)1.00 (0.6)1.00 (0.5)1.00 (0.3)1.00 (0.7)1.2 (2)1.9 (2)5/5
EDA-PSO el-abd 1.4 (2)19 (22)106 (160)163 (223)97 (85)73 (75)72 (93)9/15
FULLNEWUOA ros 3.3 (4)4.2 (4)9.0 (11)17 (16)13 (12)99 (113)2e40/15
G3PCX posik 0.99 (1)3.2 (5)11 (15)18 (18)13 (16)58 (55)103 (100)5/15
GA nicolau 0.99 (0.9)6.0 (12)61 (42)339 (774)490 (772)654 (765)1288 (1411)1/15
GLOBAL pal 1.6 (1)1.1 (0.1)1.3 (1)1.5 (1)1.6 (1)1.3 (1)3.4 (4)4/15
IPOP-SEP-CMA-ES ros 2.1 (2)3.5 (3)4.0 (4)3.5 (2)1.6 (0.8)1.00 (0.5)1.00 (0.5)15/15
LSfminbnd posik 1.6 (2)3.5 (3)19 (28)50 (63)101 (148)3e40/15
LSstep posik 4.0 (5)8.7 (11)94 (134)172 (163)239 (157)139 (150)133 (154)1/15
MA-LS-CHAIN molina 1.6 (1)1.6 (0.2)4.8 (4)5.6 (4)5.7 (7)6.0 (7)6.2 (7)12/15
MCS huyer 4.1 (8)2.1 (4)11 (15)33 (34)127 (147)5e40/15
NELDERDOERR doerr 1.2 (0.8)2.8 (4)3.4 (4)3.9 (5)3.2 (3)2.6 (2)6.3 (7)14/15
NELDER hansen 3.6 (7)7.0 (11)21 (24)29 (50)13 (21)14 (18)14 (17)15/15
NEWUOA ros 4.4 (10)6.6 (6)12 (11)58 (59)149 (160)2e40/15
ONEFIFTH auger 8.6 (26)18 (35)40 (42)57 (75)120 (140)231 (288)3980 (5356)3/15
POEMS kubalik 16 (6)24 (8)71 (69)214 (380)95 (161)57 (95)57 (117)10/15
PSO Bounds el-abd 1.8 (2)6.4 (7)58 (24)173 (205)125 (173)95 (76)93 (138)8/15
PSO el-abd 1.5 (2)3.0 (3)41 (4)77 (191)72 (169)45 (58)59 (121)10/15
RANDOMSEARCH auger 1.8 (1)7.9 (9)181 (229)4360 (5253)2.3e4 (2e4)3e60/15
Rosenbrock posik 21 (24)31 (37)93 (103)267 (264)230 (322)3e40/15
VNS garcia-martinez 2.3 (3)6.7 (6)5.9 (6)9.5 (11)4.4 (5)3.0 (3)8.4 (9)15/15
iAMALGAM bosman 1.9 (2)1.9 (0.5)10 (14)9.2 (11)6.0 (5)3.5 (3)3.6 (3)15/15

Δ fopt
f17, 3-D
1e1
4.0
1e0
78
1e-1
282
1e-2
491
1e-3
1134
1e-5
2347
1e-7
3469
#succ
15/15
ALPS hornby 2.2 (1)11 (5)13 (3)15 (2)9.2 (1)8.5 (1)8.8 (2)15/15
AMALGAM bosman 3.0 (4)1.5 (0.4)1.00 (0.2)1 (0.2)2.6 (4)3.9 (3)3.0 (2)15/15
BAYEDA gallagher 2.1 (3)6.8 (6)7.5 (3)17 (18)10 (8)60000/15
BFGS ros 43 (72)45 (63)73360/15
BIPOP-CMA-ES hansen 4.8 (5)4.0 (1)2.4 (4)2.3 (2)1.5 (1)1.4 (1)1.1 (0.8)15/15
CMA-ESPLUSSEL auger 29 (64)7.7 (10)7.9 (10)32 (40)37 (40)58 (50)3e40/15
Cauchy-EDA posik 22 (28)7.3 (3)4.1 (2)3.6 (1)2.2 (0.5)1.8 (0.3)1.6 (0.3)15/15
DASA korosec 59 (75)49 (81)105 (145)484 (571)896 (1135)3936 (4869)1.2e4 (1e4)1/15
DE-PSO garcia-nieto 4.6 (6)4.1 (2)3.5 (0.6)3.5 (0.8)2.3 (0.5)2.3 (1)5.0 (6)2/15
DIRECT posik 1.1 (2)1.1 (0.7)1.2 (0.6)1.5 (0.7)1.00 (0.1)1.0 (0.1)1.2 (0.5)4/5
EDA-PSO el-abd 2.0 (2)4.0 (3)17 (13)29 (11)20 (5)17 (4)16 (4)15/15
FULLNEWUOA ros 3.5 (2)5.6 (8)7.3 (8)31 (44)53 (75)2e40/15
G3PCX posik 2.4 (2)33 (44)39 (58)48 (33)47 (61)291 (359)636 (670)1/15
GA nicolau 1.2 (2)30 (30)57 (9)72 (10)72 (11)115 (70)3e50/15
GLOBAL pal 2.7 (2)4.3 (2)7.3 (6)21 (26)12940/15
IPOP-SEP-CMA-ES ros 2.5 (3)1.8 (0.6)2.1 (2)1.8 (2)1.4 (1.0)1.1 (1.0)1.00 (0.7)15/15
LSfminbnd posik 12 (5)8.2 (10)30 (32)143 (158)3e40/15
LSstep posik 64 (100)202 (272)104 (125)880 (1298)3e40/15
MA-LS-CHAIN molina 1.9 (1)3.5 (1)4.0 (2)4.9 (2)3.1 (0.9)2.3 (1.0)2.0 (1.0)15/15
MCS huyer 0.90 (1)2.6 (2)5.6 (5)16 (14)181 (188)5e40/15
NELDERDOERR doerr 1.7 (2)3.8 (3)8.5 (8)36 (54)69 (62)5e40/15
NELDER hansen 56 (128)22 (32)44 (54)95 (137)95 (118)253 (150)405 (481)3/15
NEWUOA ros 2.4 (0.6)9.1 (10)19 (23)143 (169)2e40/15
ONEFIFTH auger 22 (71)33 (43)865 (254)2294 (3068)4122 (5047)3e60/15
POEMS kubalik 130 (106)20 (13)23 (7)28 (3)17 (3)16 (1.0)15 (0.5)15/15
PSO Bounds el-abd 2.2 (2)4.7 (4)14 (7)21 (7)14 (5)25 (6)28 (5)15/15
PSO el-abd 2.5 (2)4.4 (2)80 (2)55 (44)26 (19)15 (10)14 (12)14/15
RANDOMSEARCH auger 2.1 (2)30 (27)7195 (9327)3e60/15
Rosenbrock posik 73 (97)2236 (2328)2e40/15
VNS garcia-martinez 2.6 (2)2.9 (0.7)1.2 (0.3)1.7 (2)1.3 (3)4.8 (10)18 (21)15/15
iAMALGAM bosman 2.2 (2)1.0 (0.5)3.1 (9)2.7 (5)3.1 (4)3.6 (4)3.0 (3)15/15

Δ fopt
f18, 3-D
1e1
40
1e0
145
1e-1
1289
1e-2
3084
1e-3
3523
1e-5
4738
1e-7
5527
#succ
15/15
ALPS hornby 5.0 (5)17 (4)5.5 (2)5.2 (2)7.2 (4)18 (9)136 (121)13/15
AMALGAM bosman 1.6 (0.9)6.1 (1)3.5 (5)3.2 (3)3.1 (2)2.5 (2)2.5 (1)15/15
BAYEDA gallagher 4.5 (3)10 (4)67 (81)60000/15
BFGS ros 33 (46)84880/15
BIPOP-CMA-ES hansen 1.4 (1.0)3.4 (6)1.8 (2)1.1 (0.9)1.00 (0.8)1.1 (0.5)1.3 (1)15/15
CMA-ESPLUSSEL auger 2.8 (6)5.0 (6)8.3 (12)22 (26)40 (35)3e40/15
Cauchy-EDA posik 277 (14)80 (4)9.4 (0.6)4.3 (0.4)4.0 (0.3)7.3 (16)6.6 (14)12/15
DASA korosec 92 (144)975 (777)458 (499)1553 (1551)3e60/15
DE-PSO garcia-nieto 3.8 (2)12 (22)3.4 (3)5.1 (5)12 (16)60400/15
DIRECT posik 1.1 (0.9)2.7 (2)1.00 (0.5)1.0 (0.8)2.0 (2)5.0 (5)8.3 (5)5/5
EDA-PSO el-abd 2.4 (2)28 (23)13 (2)9.3 (1)12 (1)14 (1)16 (1.0)15/15
FULLNEWUOA ros 4.2 (7)16 (16)13 (15)2e40/15
G3PCX posik 2.5 (1)11 (19)18 (22)63 (90)2e50/15
GA nicolau 6.3 (7)63 (20)42 (6)423 (486)1228 (1111)3e50/15
GLOBAL pal 3.9 (4)5.7 (6)4.6 (3)16400/15
IPOP-SEP-CMA-ES ros 1.3 (1)1.8 (1.0)2.1 (2)1.0 (0.8)1.1 (0.6)1.00 (0.5)1.0 (0.4)15/15
LSfminbnd posik 8.8 (16)35 (92)33 (50)3e40/15
LSstep posik 42 (35)362 (332)328 (396)3e40/15
MA-LS-CHAIN molina 3.1 (3)4.8 (4)5.3 (4)12 (11)11 (8)12 (10)11 (12)8/15
MCS huyer 4.0 (5)2.9 (2)20 (16)5e40/15
NELDERDOERR doerr 1.9 (2)5.4 (6)7.0 (10)16 (22)72 (85)169 (167)6e40/15
NELDER hansen 25 (45)27 (34)30 (45)45 (54)120 (141)3e50/15
NEWUOA ros 7.3 (8)17 (17)34 (24)2e40/15
ONEFIFTH auger 340 (447)296 (673)2752 (2984)1.4e4 (1e4)1.2e4 (1e4)3e60/15
POEMS kubalik 25 (11)175 (14)25 (1)24 (49)50 (43)103 (174)171 (203)4/15
PSO Bounds el-abd 2.0 (1)169 (26)65 (119)57 (53)67 (86)69 (45)780 (855)1/15
PSO el-abd 2.0 (1.0)15 (10)57 (175)77 (73)99 (121)113 (152)180 (169)3/15
RANDOMSEARCH auger 4.7 (5)445 (346)3e60/15
Rosenbrock posik 219 (311)2317 (3191)2e40/15
VNS garcia-martinez 3.2 (2)2.3 (1.0)4.3 (6)5.3 (6)6.6 (7)45 (35)128 (152)15/15
iAMALGAM bosman 1.0 (0.7)1.00 (0.2)1.6 (3)3.3 (4)3.7 (6)3.4 (5)3.8 (4)15/15

Δ fopt
f19, 3-D
1e1
1
1e0
1
1e-1
109
1e-2
6764
1e-3
7367
1e-5
7399
1e-7
7441
#succ
15/15
ALPS hornby 11 (12)469 (444)46 (42)3.0 (3)4.6 (5)5.5 (5)7.1 (6)15/15
AMALGAM bosman 13 (10)120 (76)37 (58)3.8 (6)5.9 (7)6.0 (7)6.0 (7)15/15
BAYEDA gallagher 10 (9)132 (142)43 (51)60000/15
BFGS ros 113 (158)872 (1400)162 (157)33 (28)1e40/15
BIPOP-CMA-ES hansen 13 (14)101 (102)49 (53)2.9 (2)3.2 (2)3.2 (2)3.3 (2)15/15
CMA-ESPLUSSEL auger 6.1 (5)970 (304)157 (190)8.8 (9)17 (21)17 (14)17 (17)3/15
Cauchy-EDA posik 57 (66)544 (411)314 (345)2e50/15
DASA korosec 60 (49)5067 (7102)520 (498)233 (235)460 (412)461 (648)476 (529)8/15
DE-PSO garcia-nieto 5.4 (2)238 (162)41 (48)60400/15
DIRECT posik 1 (0)1 (0)1.0 (0.3)29 (34)60 (54)1e50/5
EDA-PSO el-abd 9.1 (10)373 (634)83 (37)5.8 (4)11 (21)13 (20)16 (21)13/15
FULLNEWUOA ros 25 (4)374 (445)56 (75)11 (12)17 (33)17 (8)17 (19)3/15
G3PCX posik 7.6 (10)925 (1612)639 (1374)103 (141)95 (71)95 (107)94 (134)3/15
GA nicolau 7.1 (5)928 (843)101 (58)19 (28)39 (54)81 (156)3e50/15
GLOBAL pal 14 (18)290 (184)47 (39)3.9 (4)40400/15
IPOP-SEP-CMA-ES ros 9.1 (9)186 (174)54 (57)2.6 (3)2.4 (2)2.5 (2)2.5 (2)13/15
LSfminbnd posik 26 (24)274 (310)54 (58)46 (85)2e40/15
LSstep posik 8.9 (12)647 (816)26 (29)63 (82)3e40/15
MA-LS-CHAIN molina 7.6 (10)193 (141)20 (15)1.6 (2)2.2 (3)2.2 (3)2.3 (3)15/15
MCS huyer 1 (0)1 (0)11 (25)1.0 (0.5)1.0 (0.5)1 (0.5)1.00 (0.5)15/15
NELDERDOERR doerr 7.6 (7)146 (212)20 (16)5.4 (7)11 (13)11 (13)11 (8)7/15
NELDER hansen 4.1 (4)1453 (1920)119 (90)17 (19)40 (47)40 (47)40 (40)10/15
NEWUOA ros 20 (6)1275 (405)280 (553)25 (30)54 (62)54 (46)53 (53)4/15
ONEFIFTH auger 10 (10)2.1e5 (996)3.2e4 (5e4)1776 (1885)2649 (2137)2638 (2027)2624 (1915)2/15
POEMS kubalik 628 (60)1366 (487)168 (369)40 (44)57 (71)58 (81)59 (76)7/15
PSO Bounds el-abd 6.7 (6)245 (224)92 (65)13 (23)26 (24)30 (35)35 (23)10/15
PSO el-abd 10 (8)242 (162)24 (21)14 (22)24 (26)25 (37)28 (29)10/15
RANDOMSEARCH auger 11 (8)1030 (951)817 (1090)488 (439)2939 (3253)6073 (6994)3e60/15
Rosenbrock posik 253 (276)3056 (1338)851 (799)32 (39)3e40/15
VNS garcia-martinez 23 (17)216 (151)36 (34)4.8 (4)6.0 (5)6.3 (5)10 (7)15/15
iAMALGAM bosman 10 (12)156 (219)73 (85)7.6 (7)7.7 (9)7.7 (9)7.7 (9)15/15

Δ fopt
f20, 3-D
1e1
8.0
1e0
385
1e-1
2291
1e-2
2398
1e-3
2481
1e-5
2573
1e-7
2776
#succ
15/15
ALPS hornby 5.3 (5)5.0 (2)3.9 (3)4.6 (3)5.3 (3)7.2 (5)8.2 (4)15/15
AMALGAM bosman 2.8 (2)20 (36)26 (22)25 (21)25 (20)24 (20)23 (19)15/15
BAYEDA gallagher 3.3 (4)71 (44)60000/15
BFGS ros 1.9 (1)1.7 (1)5.5 (7)5.3 (6)5.1 (9)4.9 (5)4.6 (4)8/15
BIPOP-CMA-ES hansen 2.4 (2)8.2 (10)10 (6)10 (6)10 (6)10 (6)9.5 (5)15/15
CMA-ESPLUSSEL auger 2.8 (3)5.6 (7)9.5 (13)9.1 (13)8.8 (10)8.5 (8)7.9 (10)11/15
Cauchy-EDA posik 21 (20)10 (10)458 (513)934 (845)2e50/15
DASA korosec 38 (33)21 (25)43 (65)41 (62)40 (60)38 (58)36 (54)15/15
DE-PSO garcia-nieto 6.1 (5)2.4 (1)4.9 (4)4.8 (7)4.8 (10)4.8 (7)4.7 (3)6/15
DIRECT posik 6.0 (0.1)1.00 (1e-3)9.0 (0.8)8.7 (0.7)8.6 (0.7)8.5 (0.7)8.1 (0.6)5/5
EDA-PSO el-abd 3.7 (3)6.7 (6)4.5 (1)4.9 (0.8)5.1 (0.9)5.6 (0.9)6.1 (0.9)15/15
FULLNEWUOA ros 1.3 (0)5.2 (4)9.1 (13)8.7 (11)8.4 (7)8.1 (9)7.5 (10)8/15
G3PCX posik 3.6 (4)17 (18)22 (33)21 (31)21 (30)20 (31)19 (30)13/15
GA nicolau 5.2 (5)14 (9)7.1 (2)10 (2)14 (2)21 (3)29 (5)15/15
GLOBAL pal 3.5 (3)6.0 (5)18 (15)17 (20)17 (20)16 (14)15 (18)0/15
IPOP-SEP-CMA-ES ros 2.9 (3)7.9 (7)5.5 (2)5.5 (2)5.4 (2)5.4 (2)5.2 (2)15/15
LSfminbnd posik 7.1 (9)10 (11)3e40/15
LSstep posik 224 (301)28 (39)184 (219)177 (281)171 (203)166 (154)155 (132)1/15
MA-LS-CHAIN molina 2.9 (3)2.5 (2)1.00 (0.3)1.00 (0.3)1.00 (0.3)1.00 (0.3)1 (0.4)15/15
MCS huyer 2.4 (2)3.2 (0.9)3.5 (2)3.4 (2)3.2 (2)3.1 (2)2.9 (2)15/15
NELDERDOERR doerr 1.8 (1)3.6 (4)10 (12)10 (13)10 (13)9.4 (13)8.7 (10)13/15
NELDER hansen 1.0 (1)19 (16)25 (28)24 (27)23 (26)23 (25)21 (23)15/15
NEWUOA ros 1.4 (0.2)1.1 (2)3.9 (5)3.7 (3)3.6 (6)3.4 (3)3.2 (4)12/15
ONEFIFTH auger 3.2 (2)4.7 (7)10 (11)9.1 (10)8.8 (10)8.5 (10)7.9 (9)15/15
POEMS kubalik 86 (14)7.4 (5)65 (66)63 (100)63 (89)69 (95)66 (55)10/15
PSO Bounds el-abd 3.3 (3)5.2 (5)52 (99)78 (95)76 (121)84 (117)80 (136)9/15
PSO el-abd 3.8 (4)2.6 (2)22 (66)22 (63)21 (61)21 (59)20 (54)13/15
RANDOMSEARCH auger 3.2 (4)56 (61)1553 (1470)3e60/15
Rosenbrock posik 2.6 (1)1.5 (2)10 (7)10 (7)9.2 (9)8.9 (8)8.3 (6)10/15
VNS garcia-martinez 3.0 (3)4.4 (4)5.5 (7)5.3 (6)5.1 (6)5.2 (6)5.8 (5)15/15
iAMALGAM bosman 3.8 (2)16 (22)19 (24)18 (23)18 (23)17 (22)16 (21)15/15

Δ fopt
f21, 3-D
1e1
6.0
1e0
184
1e-1
425
1e-2
439
1e-3
458
1e-5
469
1e-7
482
#succ
14/15
ALPS hornby 1.3 (2)2.3 (2)3.7 (3)5.8 (3)7.4 (3)11 (4)15 (3)15/15
AMALGAM bosman 2.2 (3)17 (25)41 (40)41 (39)40 (37)40 (37)39 (37)15/15
BAYEDA gallagher 2.0 (2)7.5 (17)94 (141)60000/15
BFGS ros 2.1 (3)3.3 (4)3.5 (3)3.4 (3)3.3 (3)3.3 (3)3.2 (3)14/15
BIPOP-CMA-ES hansen 1.7 (2)6.8 (7)6.0 (8)6.0 (8)6.0 (8)6.1 (8)6.1 (8)15/15
CMA-ESPLUSSEL auger 1.9 (3)4.5 (6)8.1 (15)7.9 (14)7.7 (14)7.6 (14)7.4 (13)15/15
Cauchy-EDA posik 16 (19)11 (15)244 (268)238 (345)499 (574)887 (1368)864 (1322)4/15
DASA korosec 12 (16)93 (73)66 (82)65 (80)62 (76)62 (76)61 (74)15/15
DE-PSO garcia-nieto 1.2 (0.9)4.1 (4)3.5 (4)4.6 (5)5.3 (5)7.1 (6)7.5 (6)13/15
DIRECT posik 1.8 (1)1.00 (1)1.4 (1)1.4 (1)1.4 (1)4.2 (6)5.8 (6)5/5
EDA-PSO el-abd 1.4 (2)3.1 (6)54 (5)55 (8)58 (5)62 (5)65 (7)14/15
FULLNEWUOA ros 2.3 (2)3.3 (5)2.8 (3)2.7 (3)2.6 (3)2.6 (3)2.5 (3)15/15
G3PCX posik 1.6 (2)8.5 (12)5.7 (5)5.6 (5)5.4 (5)5.4 (5)5.4 (5)15/15
GA nicolau 1.5 (1)2.5 (4)5.3 (7)18 (9)29 (13)99 (28)229 (327)12/15
GLOBAL pal 1.7 (3)1.4 (2)1.0 (0.7)1.00 (0.6)1.0 (0.6)1.0 (0.6)1.00 (0.6)14/15
IPOP-SEP-CMA-ES ros 1.0 (0.8)4.6 (6)15 (28)17 (28)17 (29)17 (30)17 (30)14/15
LSfminbnd posik 6.0 (6)21 (20)27 (31)26 (30)31 (36)39 (39)46 (43)11/15
LSstep posik 15 (34)210 (247)196 (265)193 (276)191 (273)203 (147)216 (192)2/15
MA-LS-CHAIN molina 1.7 (2)1.7 (1)10 (2)10 (2)10 (2)10 (2)10 (2)14/15
MCS huyer 6.2 (10)2.1 (3)4.4 (8)4.3 (7)4.1 (7)4.1 (7)4.2 (7)15/15
NELDERDOERR doerr 2.0 (2)2.8 (4)2.9 (3)2.8 (3)2.7 (3)2.7 (3)2.6 (3)15/15
NELDER hansen 1.6 (2)16 (20)26 (43)25 (42)24 (40)23 (39)23 (38)15/15
NEWUOA ros 1.6 (1)2.7 (2)3.5 (4)3.5 (4)3.4 (4)3.4 (4)3.4 (4)15/15
ONEFIFTH auger 2.0 (3)15 (21)17 (39)17 (38)16 (36)16 (35)16 (34)15/15
POEMS kubalik 94 (21)675 (1014)551 (708)536 (1367)514 (656)511 (1038)504 (543)9/15
PSO Bounds el-abd 0.99 (0.9)120 (12)178 (354)174 (343)169 (329)170 (321)170 (312)12/15
PSO el-abd 1.1 (2)120 (13)111 (353)108 (342)104 (328)103 (321)102 (311)13/15
RANDOMSEARCH auger 1.5 (2)2.9 (2)8.3 (8)34 (33)120 (148)4468 (4278)3e60/15
Rosenbrock posik 17 (40)8.1 (8)12 (13)11 (13)11 (12)11 (12)11 (12)15/15
VNS garcia-martinez 2.1 (3)9.2 (14)11 (9)11 (9)11 (9)11 (9)11 (8)15/15
iAMALGAM bosman 1.6 (1)28 (39)20 (17)19 (17)19 (17)18 (16)18 (16)15/15

Δ fopt
f22, 3-D
1e1
18
1e0
170
1e-1
354
1e-2
362
1e-3
384
1e-5
401
1e-7
414
#succ
15/15
ALPS hornby 1.8 (2)2.1 (2)4.0 (2)8.5 (4)12 (6)21 (5)28 (10)15/15
AMALGAM bosman 1.1 (1)21 (29)56 (67)61 (73)59 (70)57 (66)57 (65)15/15
BAYEDA gallagher 2.0 (2)11 (19)48 (60)60000/15
BFGS ros 3.3 (4)2.6 (4)2.1 (2)2.1 (2)2.0 (2)2.0 (2)2.0 (2)15/15
BIPOP-CMA-ES hansen 1.1 (1)6.4 (12)13 (15)14 (17)13 (16)13 (17)13 (17)15/15
CMA-ESPLUSSEL auger 3.5 (3)6.8 (8)11 (20)10 (19)10 (18)10 (17)9.4 (17)15/15
Cauchy-EDA posik 12 (9)229 (445)645 (749)1145 (1242)2543 (3222)2435 (3366)2359 (2355)2/15
DASA korosec 20 (20)100 (142)69 (119)75 (119)79 (113)98 (114)117 (116)15/15
DE-PSO garcia-nieto 4.9 (9)4.7 (2)13 (14)14 (14)14 (15)26 (20)34 (34)4/15
DIRECT posik 1.5 (1)1 (0.7)6.3 (11)6.2 (11)7.4 (11)15 (16)18 (17)5/5
EDA-PSO el-abd 1.2 (0.7)3.9 (5)5.4 (6)11 (7)16 (5)29 (6)42 (7)15/15
FULLNEWUOA ros 2.3 (1)2.0 (2)1.8 (3)1.9 (3)1.9 (2)1.9 (2)2.1 (2)15/15
G3PCX posik 1.4 (0.9)4.1 (5)10 (14)10 (14)10 (14)10 (13)10 (13)15/15
GA nicolau 1.0 (2)3.5 (3)6.5 (7)27 (25)273 (405)1592 (2447)3084 (2592)3/15
GLOBAL pal 1.7 (2)1.6 (0.5)1.0 (0.2)1.0 (0.2)1 (0.2)1.0 (0.2)1.0 (0.1)15/15
IPOP-SEP-CMA-ES ros 1.7 (1)3.9 (3)13 (18)31 (42)30 (41)29 (38)29 (37)12/15
LSfminbnd posik 14 (38)13 (15)19 (27)66 (83)62 (102)77 (123)150 (245)4/15
LSstep posik 64 (111)48 (56)155 (251)240 (213)321 (489)3e40/15
MA-LS-CHAIN molina 1.4 (2)3.7 (2)2.7 (4)3.3 (3)3.4 (4)3.9 (4)4.3 (4)15/15
MCS huyer 3.3 (7)1.6 (3)1.2 (2)1.2 (2)4.6 (9)4.5 (8)4.6 (8)15/15
NELDERDOERR doerr 4.1 (4)2.0 (2)2.2 (2)2.2 (2)2.1 (2)2.0 (1)2.0 (1)15/15
NELDER hansen 5.5 (1)10 (16)13 (11)13 (11)12 (11)12 (10)12 (10)15/15
NEWUOA ros 2.8 (5)2.5 (3)5.8 (3)5.8 (3)5.6 (3)5.5 (3)5.7 (3)14/15
ONEFIFTH auger 23 (3)17 (17)17 (28)17 (28)17 (26)19 (25)20 (25)15/15
POEMS kubalik 42 (16)167 (217)453 (526)447 (417)424 (978)412 (378)405 (726)10/15
PSO Bounds el-abd 1.5 (2)2.2 (3)64 (3)66 (6)67 (9)76 (17)89 (17)14/15
PSO el-abd 1.1 (1.0)127 (2)132 (424)130 (416)124 (588)122 (374)123 (364)13/15
RANDOMSEARCH auger 1.7 (2)3.0 (3)4.8 (4)40 (42)202 (207)7149 (9363)3e60/15
Rosenbrock posik 1.7 (0.7)5.6 (3)5.2 (9)5.3 (8)5.1 (8)5.1 (8)5.0 (7)15/15
VNS garcia-martinez 1.4 (2)10 (13)12 (11)13 (12)13 (11)14 (12)15 (11)15/15
iAMALGAM bosman 1.6 (2)21 (22)43 (57)44 (55)43 (52)43 (55)42 (53)15/15

Δ fopt
f23, 3-D
1e1
3.0
1e0
407
1e-1
906
1e-2
1215
1e-3
2214
1e-5
2293
1e-7
2393
#succ
15/15
ALPS hornby 3.2 (2)12 (9)54 (49)205 (223)374 (702)6272 (9294)3.0e4 (3e4)0/15
AMALGAM bosman 3.4 (3)6.3 (3)10 (13)8.9 (10)5.1 (5)5.1 (5)5.1 (5)15/15
BAYEDA gallagher 2.8 (4)34 (41)60000/15
BFGS ros 15 (22)8.7 (10)112 (147)1e40/15
BIPOP-CMA-ES hansen 4.2 (4)6.4 (6)9.3 (12)7.1 (9)4.2 (5)4.2 (5)4.2 (5)15/15
CMA-ESPLUSSEL auger 3.2 (2)2.0 (2)11 (18)17 (20)12 (12)13 (12)12 (13)10/15
Cauchy-EDA posik 3.6 (4)52 (66)2e50/15
DASA korosec 13 (11)71 (28)885 (1703)1735 (1434)1852 (1680)5269 (6211)5052 (3762)3/15
DE-PSO garcia-nieto 1.6 (1)40 (63)60400/15
DIRECT posik 4.1 (6)1.5 (1)31 (56)25 (42)15 (24)18 (22)22 (24)4/5
EDA-PSO el-abd 2.5 (2)23 (33)4943 (6540)3690 (3272)2030 (2676)3e50/15
FULLNEWUOA ros 5.8 (4)2.4 (2)15 (30)40 (37)37 (31)166 (243)159 (232)1/15
G3PCX posik 4.2 (6)2.1 (2)14 (17)29 (38)17 (21)43 (58)42 (50)10/15
GA nicolau 3.7 (4)16 (17)522 (516)3702 (3780)3e50/15
GLOBAL pal 2.7 (3)1.6 (1)3.1 (3)40290/15
IPOP-SEP-CMA-ES ros 4.0 (4)7.1 (8)13 (12)11 (9)5.9 (5)5.9 (5)5.8 (5)15/15
LSfminbnd posik 2.8 (2)7.1 (9)419 (284)3e40/15
LSstep posik 4.8 (5)4.9 (4)488 (397)3e40/15
MA-LS-CHAIN molina 3.6 (3)2.1 (1)6.7 (7)5.2 (5)2.9 (3)3.1 (3)3.1 (3)15/15
MCS huyer 0.87 (0.8)2.7 (2)12 (9)39 (47)326 (430)5e40/15
NELDERDOERR doerr 5.8 (6)1.00 (1)1.0 (1.0)1.0 (1)1.1 (0.8)1.4 (2)1.4 (2)15/15
NELDER hansen 2.7 (2)1.4 (3)2.3 (3)1.8 (2)1.00 (1)1.0 (1)1.0 (1)15/15
NEWUOA ros 10 (6)2.7 (3)24 (32)109 (130)2e40/15
ONEFIFTH auger 19 (6)2.9 (3)13 (13)238 (361)506 (763)1771 (2711)3541 (5010)4/15
POEMS kubalik 15 (24)22 (13)126 (166)128 (167)73 (135)76 (131)79 (85)11/15
PSO Bounds el-abd 1.7 (2)15 (18)462 (346)570 (744)445 (408)927 (1059)890 (1034)2/15
PSO el-abd 2.7 (3)11 (10)168 (189)363 (592)201 (212)200 (268)194 (194)7/15
RANDOMSEARCH auger 2.3 (2)13 (16)2.3e4 (2e4)3e60/15
Rosenbrock posik 2.1 (2)1.9 (2)10 (9)88 (81)48 (63)2e40/15
VNS garcia-martinez 4.0 (3)6.7 (6)27 (25)41 (56)23 (30)24 (35)23 (34)15/15
iAMALGAM bosman 3.8 (5)8.4 (10)10 (12)7.5 (9)4.3 (5)4.3 (5)4.3 (5)15/15

Δ fopt
f24, 3-D
1e1
97
1e0
10391
1e-1
1.0e5
1e-2
3.6e5
1e-3
3.6e5
1e-5
3.6e5
1e-7
3.6e5
#succ
2/15
ALPS hornby 7.9 (7)3.5 (3)6.2 (6)2.9 (2)2.9 (2)3.0 (2)3.1 (2)14/15
AMALGAM bosman 1.5 (2)10 (5)10 (11)4.5 (3)4.6 (3)4.7 (4)5.1 (4)14/15
BAYEDA gallagher 4.3 (3)60000/15
BFGS ros 9.3 (8)86000/15
BIPOP-CMA-ES hansen 1.3 (0.9)7.6 (11)7.9 (9)3.0 (3)4.1 (6)4.9 (5)4.9 (6)11/15
CMA-ESPLUSSEL auger 9.2 (14)3.3 (5)3e40/15
Cauchy-EDA posik 4.2 (4)104 (137)2e50/15
DASA korosec 69 (127)85 (87)419 (351)3e60/15
DE-PSO garcia-nieto 5.8 (2)60400/15
DIRECT posik 2.5 (2)39 (60)1e50/5
EDA-PSO el-abd 6.4 (8)3e50/15
FULLNEWUOA ros 2.8 (4)1.2 (2)2e40/15
G3PCX posik 19 (25)22 (32)10 (10)2e50/15
GA nicolau 18 (15)3e50/15
GLOBAL pal 3.4 (2)1.1 (1)52490/15
IPOP-SEP-CMA-ES ros 1.00 (0.9)5.0 (3)3e40/15
LSfminbnd posik 1.9 (3)6.4 (12)3e40/15
LSstep posik 6.4 (4)41 (33)3e40/15
MA-LS-CHAIN molina 3.7 (3)4e40/15
MCS huyer 17 (19)2.0 (1)1.0 (0.8)1 (1)1 (1)1 (2)1 (0.8)2/15
NELDERDOERR doerr 2.3 (4)1.5 (1)3.9 (4)2.4 (3)2.4 (3)2.4 (2)2.4 (4)1/15
NELDER hansen 20 (25)5.2 (6)10 (4)6.3 (6)6.3 (8)6.3 (10)6.3 (5)2/15
NEWUOA ros 2.5 (2)1.0 (1)2e40/15
ONEFIFTH auger 23 (39)13 (10)40 (42)124 (195)124 (128)124 (136)124 (109)1/15
POEMS kubalik 16 (8)86 (87)42 (58)12 (12)12 (18)12 (13)12 (10)1/15
PSO Bounds el-abd 9.0 (7)411 (455)42 (47)12 (11)12 (10)12 (15)12 (11)1/15
PSO el-abd 4.7 (5)405 (657)3e50/15
RANDOMSEARCH auger 10 (14)450 (397)3e60/15
Rosenbrock posik 53 (61)3e40/15
VNS garcia-martinez 2.9 (3)1.6 (1)106 (107)64 (153)64 (153)65 (157)114 (167)12/15
iAMALGAM bosman 5.2 (3)5.8 (4)10 (6)8.7 (5)8.7 (5)8.7 (7)8.8 (5)9/15

Previous dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D
1e1
11
1e0
12
1e-1
12
1e-2
12
1e-3
12
1e-5
12
1e-7
12
#succ
15/15
ALPS hornby 9.2 (9)140 (34)304 (43)499 (46)693 (70)1050 (71)1436 (132)15/15
AMALGAM bosman 5.5 (3)16 (4)29 (7)44 (8)59 (10)89 (16)121 (29)15/15
BAYEDA gallagher 5.2 (7)47 (13)94 (24)130 (25)176 (25)400 (421)570 (432)11/15
BFGS ros 1.2 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)15/15
BIPOP-CMA-ES hansen 3.2 (2)9.1 (4)15 (4)21 (4)28 (5)41 (4)54 (6)15/15
CMA-ESPLUSSEL auger 2.3 (2)6.0 (2)10 (3)14 (4)17 (3)25 (4)32 (3)15/15
Cauchy-EDA posik 41 (28)92 (37)174 (56)247 (41)320 (58)471 (54)615 (75)15/15
DASA korosec 23 (18)45 (21)60 (17)72 (15)89 (17)122 (18)152 (18)15/15
DE-PSO garcia-nieto 8.1 (6)27 (7)48 (17)78 (18)112 (16)169 (12)226 (18)15/15
DIRECT posik 2.0 (1)7.2 (4)19 (3)32 (6)45 (11)86 (23)155 (30)5/5
EDA-PSO el-abd 3.2 (3)20 (7)324 (195)901 (300)1524 (300)2733 (424)3899 (386)15/15
FULLNEWUOA ros 1.9 (0)1.8 (0)1.8 (0)1.8 (0)1.8 (0)1.8 (0)1.8 (0)15/15
G3PCX posik 5.2 (5)12 (1)15 (3)20 (3)25 (5)36 (5)46 (4)15/15
GA nicolau 8.7 (7)369 (199)1202 (178)2130 (321)2989 (397)5474 (393)8468 (802)13/15
GLOBAL pal 6.8 (9)26 (0.6)28 (0.8)30 (1)32 (1)36 (1)40 (1)13/15
IPOP-SEP-CMA-ES ros 2.8 (2)7.1 (2)14 (4)18 (4)24 (4)35 (4)45 (5)15/15
LSfminbnd posik 6.0 (3)6.4 (3)6.8 (3)6.9 (3)6.9 (3)6.9 (3)6.9 (3)15/15
LSstep posik 92 (55)123 (17)132 (0.2)134 (0.1)134 (0.1)134 (0.0)135 (0.1)15/15
MA-LS-CHAIN molina 7.8 (5)26 (6)48 (5)61 (8)76 (9)121 (31)146 (10)15/15
MCS huyer 1 (0.1)1.9 (2)2.5 (2)2.6 (2)2.6 (2)2.6 (2)2.6 (2)15/15
NELDERDOERR doerr 1.5 (1)3.5 (1)5.6 (2)7.6 (2)10 (2)14 (2)18 (3)15/15
NELDER hansen 1.5 (0.9)3.4 (2)5.5 (1)7.3 (2)9.4 (2)14 (2)18 (2)15/15
NEWUOA ros 1.1 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)15/15
ONEFIFTH auger 2.3 (2)5.1 (2)8.6 (2)11 (2)15 (2)22 (3)29 (4)15/15
POEMS kubalik 106 (25)130 (25)383 (118)769 (215)1170 (155)2117 (138)2956 (167)15/15
PSO Bounds el-abd 3.8 (3)42 (30)217 (62)440 (150)745 (251)1340 (199)1980 (655)15/15
PSO el-abd 3.7 (3)22 (6)56 (18)117 (23)185 (30)322 (46)458 (56)15/15
RANDOMSEARCH auger 7.5 (10)1698 (1877)6.9e5 (7e5)5e60/15
Rosenbrock posik 2.9 (0.9)4.2 (2)5.6 (1)6.9 (2)8.8 (2)12 (2)15 (2)15/15
VNS garcia-martinez 7.4 (7)19 (4)26 (4)32 (4)39 (3)51 (5)65 (6)15/15
iAMALGAM bosman 2.5 (2)10 (3)19 (4)28 (6)37 (7)57 (7)74 (10)15/15

Δ fopt
f2, 5-D
1e1
83
1e0
87
1e-1
88
1e-2
89
1e-3
90
1e-5
92
1e-7
94
#succ
15/15
ALPS hornby 74 (8)95 (11)121 (14)147 (12)165 (19)213 (14)257 (21)15/15
AMALGAM bosman 7.1 (2)10 (4)13 (4)15 (4)17 (4)21 (5)24 (4)15/15
BAYEDA gallagher 41 (60)47 (60)52 (58)58 (57)64 (56)84 (57)95 (56)12/15
BFGS ros 3.9 (2)5.7 (2)6.3 (2)6.5 (2)6.6 (2)6.9 (2)7.1 (2)15/15
BIPOP-CMA-ES hansen 13 (4)16 (3)18 (2)19 (2)20 (2)21 (2)22 (2)15/15
CMA-ESPLUSSEL auger 9.5 (4)11 (3)12 (3)13 (1)14 (1)14 (2)15 (2)15/15
Cauchy-EDA posik 42 (13)49 (13)58 (13)71 (11)80 (17)101 (13)120 (15)15/15
DASA korosec 10 (3)12 (3)13 (3)15 (4)17 (3)21 (4)26 (4)15/15
DE-PSO garcia-nieto 13 (2)16 (4)21 (3)24 (3)28 (4)37 (5)44 (5)15/15
DIRECT posik 5.8 (3)7.2 (4)8.4 (5)10 (4)14 (6)22 (12)382 (587)4/5
EDA-PSO el-abd 137 (26)206 (24)288 (33)359 (36)420 (38)554 (52)695 (40)15/15
FULLNEWUOA ros 7.0 (6)19 (14)36 (26)50 (26)69 (33)103 (31)134 (42)14/15
G3PCX posik 69 (67)155 (112)223 (115)276 (123)339 (189)470 (285)625 (357)15/15
GA nicolau 334 (64)459 (52)609 (74)772 (79)1301 (66)2156 (2778)2535 (2675)13/15
GLOBAL pal 6.3 (2)6.9 (2)7.3 (2)7.5 (2)7.7 (1)8.2 (1)8.6 (1)15/15
IPOP-SEP-CMA-ES ros 7.2 (2)8.5 (2)9.4 (2)10 (1)11 (1)12 (1)13 (1)15/15
LSfminbnd posik 1.0 (0.2)1.0 (0.1)1.0 (0.1)1.0 (0.1)1.00 (0.1)1.00 (0.1)1.0 (0.1)15/15
LSstep posik 16 (2)16 (2)16 (2)16 (2)15 (2)15 (2)15 (2)15/15
MA-LS-CHAIN molina 13 (5)16 (6)22 (4)27 (8)32 (10)41 (10)49 (18)15/15
MCS huyer 1.1 (0.7)1.6 (1)2.2 (1)3.3 (1)4.7 (1)6.5 (2)29 (53)14/15
NELDERDOERR doerr 4.9 (4)8.2 (4)9.0 (6)9.3 (6)10 (6)10 (6)10 (6)15/15
NELDER hansen 5.0 (3)6.8 (2)7.5 (2)7.7 (2)7.9 (2)8.3 (2)8.6 (2)15/15
NEWUOA ros 5.7 (4)22 (17)46 (31)60 (35)85 (32)129 (33)166 (54)15/15
ONEFIFTH auger 5577 (9912)1.6e4 (2e4)3.1e4 (2e4)4.6e4 (3e4)1.9e5 (2e5)8.0e5 (9e5)5e60/15
POEMS kubalik 216 (64)275 (62)333 (58)382 (75)437 (60)519 (75)629 (52)15/15
PSO Bounds el-abd 156 (112)195 (96)258 (86)304 (130)396 (161)860 (152)1182 (206)15/15
PSO el-abd 32 (8)41 (6)49 (5)60 (6)68 (8)89 (11)106 (11)15/15
RANDOMSEARCH auger 5e60/15
Rosenbrock posik 13 (25)103 (179)137 (295)138 (283)152 (281)188 (290)242 (282)12/15
VNS garcia-martinez 18 (4)20 (3)24 (2)25 (2)25 (2)26 (2)27 (2)15/15
iAMALGAM bosman 6.3 (3)8.1 (3)10 (3)12 (3)13 (4)15 (3)17 (3)15/15

Δ fopt
f3, 5-D
1e1
716
1e0
1622
1e-1
1637
1e-2
1642
1e-3
1646
1e-5
1650
1e-7
1654
#succ
15/15
ALPS hornby 5.7 (2)12 (5)22 (20)24 (20)26 (20)29 (19)33 (20)15/15
AMALGAM bosman 4.5 (13)65 (62)484 (627)505 (691)514 (696)520 (709)524 (717)15/15
BAYEDA gallagher 2.7 (0.7)1e40/15
BFGS ros 107 (111)2e40/15
BIPOP-CMA-ES hansen 1.4 (1)16 (17)139 (107)139 (107)139 (107)139 (107)140 (107)14/15
CMA-ESPLUSSEL auger 9.1 (9)440 (555)5e40/15
Cauchy-EDA posik 6.7 (3)2243 (1773)3e50/15
DASA korosec 1.2 (0.4)1.6 (0.6)10 (12)10 (12)10 (12)10 (12)11 (12)15/15
DE-PSO garcia-nieto 3.7 (2)29 (31)30 (34)30 (40)30 (21)1e40/15
DIRECT posik 45 (77)304 (416)1e50/5
EDA-PSO el-abd 12 (5)170 (236)856 (917)857 (1371)860 (1216)866 (1516)870 (758)4/15
FULLNEWUOA ros 4.2 (4)164 (136)4e40/15
G3PCX posik 84 (180)2052 (1940)2e50/15
GA nicolau 19 (2)18 (2)25 (2)34 (4)43 (4)112 (157)200 (158)11/15
GLOBAL pal 3.3 (4)26130/15
IPOP-SEP-CMA-ES ros 1.2 (1)12 (17)96 (148)96 (152)96 (111)97 (84)97 (103)4/15
LSfminbnd posik 1.00 (2)52 (74)2e40/15
LSstep posik 2.2 (0.3)1.00 (9e-3)1.0 (0.0)1.00 (0.0)1.00 (0.0)1.0 (0.0)1.00 (0.0)15/15
MA-LS-CHAIN molina 1.0 (0.7)6.4 (6)32 (30)32 (30)32 (30)32 (30)32 (30)14/15
MCS huyer 1.2 (1)24 (32)216 (321)215 (358)215 (199)214 (293)214 (211)2/15
NELDERDOERR doerr 1.5 (3)33 (33)268 (241)268 (235)267 (255)266 (298)266 (325)3/15
NELDER hansen 5.4 (7)282 (250)1464 (1828)1460 (2042)1456 (1757)1453 (919)1449 (1068)3/15
NEWUOA ros 6.1 (8)229 (226)3e40/15
ONEFIFTH auger 16 (21)308 (422)3860 (6460)3848 (3902)3839 (4169)3830 (3177)3820 (4843)8/15
POEMS kubalik 3.8 (1)10 (6)35 (37)39 (37)42 (37)47 (36)54 (37)15/15
PSO Bounds el-abd 7.6 (5)26 (12)38 (20)63 (52)64 (51)70 (48)95 (36)14/15
PSO el-abd 52 (2)55 (155)275 (611)275 (460)275 (609)276 (305)276 (305)8/15
RANDOMSEARCH auger 6760 (5580)5e60/15
Rosenbrock posik 24 (34)394 (382)5e40/15
VNS garcia-martinez 2.5 (4)5.2 (3)11 (9)11 (9)12 (9)22 (13)40 (22)15/15
iAMALGAM bosman 1.4 (0.2)33 (25)178 (159)182 (176)184 (177)187 (178)189 (178)15/15

Δ fopt
f4, 5-D
1e1
809
1e0
1633
1e-1
1688
1e-2
1758
1e-3
1817
1e-5
1886
1e-7
1903
#succ
15/15
ALPS hornby 7.1 (2)28 (24)59 (45)58 (44)58 (42)59 (41)63 (41)15/15
AMALGAM bosman 5.8 (11)2.0e4 (2e4)5e60/15
BAYEDA gallagher 5.8 (3)1e40/15
BFGS ros 169 (195)2e40/15
BIPOP-CMA-ES hansen 2.7 (3)2e60/15
CMA-ESPLUSSEL auger 15 (22)458 (436)5e40/15
Cauchy-EDA posik 85 (70)3e50/15
DASA korosec 1.0 (0.7)1.8 (1)5.9 (7)5.7 (7)5.6 (6)5.7 (6)5.9 (6)15/15
DE-PSO garcia-nieto 3.3 (1)1e40/15
DIRECT posik 192 (219)105 (93)249 (430)1e50/5
EDA-PSO el-abd 15 (4)2012 (2755)5e50/15
FULLNEWUOA ros 12 (9)5e40/15
G3PCX posik 76 (57)2151 (2975)2e50/15
GA nicolau 18 (4)20 (2)26 (3)33 (5)41 (7)58 (5)185 (138)9/15
GLOBAL pal 8.3 (18)31670/15
IPOP-SEP-CMA-ES ros 1.0 (1)5e40/15
LSfminbnd posik 7.8 (15)2e40/15
LSstep posik 2.0 (9e-3)1.0 (9e-3)1 (0.0)1.00 (0.0)1.0 (0.0)1.00 (0.1)1.0 (0.0)12/15
MA-LS-CHAIN molina 1.7 (1)35 (33)176 (240)169 (218)163 (162)158 (261)157 (246)5/15
MCS huyer 4.1 (6)5e40/15
NELDERDOERR doerr 7.1 (5)898 (1316)870 (711)835 (355)808 (922)779 (981)772 (604)1/15
NELDER hansen 26 (23)5e50/15
NEWUOA ros 27 (24)305 (402)3e40/15
ONEFIFTH auger 25 (34)3741 (4114)2.0e4 (2e4)1.9e4 (2e4)1.9e4 (2e4)1.8e4 (3e4)1.8e4 (2e4)2/15
POEMS kubalik 4.5 (2)17 (5)45 (36)47 (34)47 (33)52 (32)57 (32)15/15
PSO Bounds el-abd 8.0 (4)30 (14)64 (34)115 (159)113 (141)113 (136)135 (137)12/15
PSO el-abd 3.0 (1.0)141 (214)4152 (5628)3988 (6684)3859 (4816)3719 (5236)3687 (3350)1/15
RANDOMSEARCH auger 1.6e4 (1e4)5e60/15
Rosenbrock posik 57 (49)5e40/15
VNS garcia-martinez 2.5 (3)16 (12)39 (48)38 (46)39 (44)54 (36)128 (59)15/15
iAMALGAM bosman 3.9 (5)2.1e4 (2e4)5e60/15

Δ fopt
f5, 5-D
1e1
10
1e0
10
1e-1
10
1e-2
10
1e-3
10
1e-5
10
1e-7
10
#succ
15/15
ALPS hornby 64 (29)132 (40)159 (73)162 (74)165 (74)165 (74)165 (74)15/15
AMALGAM bosman 19 (5)28 (7)29 (7)29 (7)29 (7)29 (7)29 (7)15/15
BAYEDA gallagher 38 (22)76 (30)321 (525)321 (506)323 (519)323 (519)323 (508)12/15
BFGS ros 1.9 (0.6)3.0 (0.9)3.1 (0.9)3.1 (0.9)3.1 (0.9)3.1 (0.9)3.1 (0.9)15/15
BIPOP-CMA-ES hansen 4.5 (2)6.5 (3)6.6 (2)6.6 (2)6.6 (2)6.6 (2)6.6 (2)15/15
CMA-ESPLUSSEL auger 2.3 (1)3.1 (1)3.2 (1)3.2 (1)3.2 (1)3.2 (1)3.2 (1)15/15
Cauchy-EDA posik 39 (41)41 (42)41 (42)41 (42)41 (42)41 (42)41 (42)15/15
DASA korosec 28 (12)36 (12)40 (9)43 (9)49 (11)55 (9)63 (9)15/15
DE-PSO garcia-nieto 22 (8)37 (9)41 (8)41 (8)41 (8)41 (8)41 (8)15/15
DIRECT posik 9.2 (0.1)12 (0.1)13 (0.1)13 (0.1)13 (0.1)13 (0.1)13 (0.1)5/5
EDA-PSO el-abd 10 (3)16 (4)16 (5)16 (5)16 (5)17 (5)17 (5)15/15
FULLNEWUOA ros 2.2 (0)2.4 (0.2)2.4 (0.2)2.4 (0.2)2.4 (0.2)2.4 (0.2)2.4 (0.2)15/15
G3PCX posik 14 (3)25 (11)27 (11)28 (11)28 (11)28 (11)28 (11)15/15
GA nicolau 481 (267)2072 (463)3983 (388)6349 (581)9220 (765)1.7e4 (1383)3.4e4 (4852)0/15
GLOBAL pal 32 (1)33 (3)34 (2)34 (2)34 (2)34 (2)34 (2)15/15
IPOP-SEP-CMA-ES ros 4.8 (3)6.6 (2)6.8 (3)6.9 (2)6.9 (2)6.9 (2)6.9 (2)15/15
LSfminbnd posik 13 (2)14 (0)14 (0)14 (0)14 (0)14 (0)14 (0)15/15
LSstep posik 141 (40)160 (0.1)160 (0.1)160 (0.1)160 (0.1)160 (0.1)160 (0.1)15/15
MA-LS-CHAIN molina 53 (9)69 (8)70 (7)71 (8)71 (8)71 (8)71 (8)15/15
MCS huyer 1 (0)1 (0)1 (0)1 (0)1 (0)1 (0)1 (0)15/15
NELDERDOERR doerr 1.9 (0.8)2.4 (0.8)2.5 (0.8)2.5 (0.8)2.5 (0.8)2.5 (0.8)2.5 (0.8)15/15
NELDER hansen 2.5 (1)4.1 (4)4.2 (5)4.2 (5)4.2 (5)4.2 (5)4.2 (5)15/15
NEWUOA ros 1.3 (0.1)1.5 (0.2)1.5 (0.2)1.5 (0.2)1.5 (0.2)1.5 (0.2)1.5 (0.2)15/15
ONEFIFTH auger 2.0 (1)2.4 (0.7)2.5 (0.7)2.6 (0.8)2.6 (0.8)2.6 (0.8)2.6 (0.8)15/15
POEMS kubalik 155 (32)197 (29)213 (30)221 (43)222 (50)223 (48)223 (48)15/15
PSO Bounds el-abd 9.2 (3)15 (5)16 (6)16 (6)16 (6)16 (6)16 (6)15/15
PSO el-abd 10 (2)14 (5)16 (6)16 (6)16 (6)16 (6)16 (6)15/15
RANDOMSEARCH auger 4349 (5606)5e60/15
Rosenbrock posik 4.0 (0.8)4.2 (0.6)4.2 (0.6)4.2 (0.6)4.2 (0.6)4.2 (0.6)4.2 (0.6)15/15
VNS garcia-martinez 13 (2)15 (2)15 (2)15 (2)15 (2)15 (2)15 (2)15/15
iAMALGAM bosman 7.1 (3)11 (6)12 (6)12 (6)12 (6)12 (6)12 (6)15/15

Δ fopt
f6, 5-D
1e1
114
1e0
214
1e-1
281
1e-2
404
1e-3
580
1e-5
1038
1e-7
1332
#succ
15/15
ALPS hornby 20 (8)28 (9)40 (6)41 (8)39 (6)34 (4)37 (5)15/15
AMALGAM bosman 3.2 (1)4.3 (1)5.7 (3)5.7 (2)5.2 (2)4.3 (1.0)4.5 (0.6)15/15
BAYEDA gallagher 248 (284)1e40/15
BFGS ros 3.0 (2)3.3 (1)3.4 (1)3.0 (1)2.5 (0.8)2.0 (0.8)7.8 (8)15/15
BIPOP-CMA-ES hansen 2.3 (1)2.1 (0.6)2.2 (0.6)1.9 (0.4)1.7 (0.2)1.3 (0.3)1.3 (0.2)15/15
CMA-ESPLUSSEL auger 1.4 (0.9)1.4 (0.8)1.6 (1)1.7 (1)1.6 (1)1.6 (1)1.8 (1)15/15
Cauchy-EDA posik 92 (48)69 (24)68 (16)58 (12)47 (8)35 (7)34 (6)15/15
DASA korosec 7.8 (5)9.0 (3)50 (4)99 (6)108 (5)81 (113)150 (315)15/15
DE-PSO garcia-nieto 5.5 (2)6.4 (2)8.1 (2)8.0 (2)7.1 (1)6.3 (1)10 (8)7/15
DIRECT posik 2.3 (2)28 (21)789 (481)1219 (1052)1e50/5
EDA-PSO el-abd 11 (13)51 (17)81 (11)85 (8)79 (5)65 (3)68 (2)15/15
FULLNEWUOA ros 1.2 (0.7)1.00 (0.5)1.0 (0.7)1.00 (0.5)1.0 (0.6)1.00 (1.0)1.4 (2)15/15
G3PCX posik 2.4 (1)3.0 (2)4.8 (4)5.1 (3)4.7 (4)5.1 (3)5.5 (3)15/15
GA nicolau 66 (56)148 (60)382 (80)3680 (5901)1.2e4 (1e4)5e50/15
GLOBAL pal 2.9 (0.2)2.1 (0.6)2.0 (0.5)2.9 (3)2.2 (2)3.6 (3)35 (30)1/15
IPOP-SEP-CMA-ES ros 2.8 (1.0)2.5 (0.8)2.7 (0.9)2.4 (0.7)2.2 (0.4)1.6 (0.2)1.5 (0.1)15/15
LSfminbnd posik 96 (220)115 (240)135 (177)155 (189)110 (130)82 (108)65 (94)6/15
LSstep posik 408 (659)292 (408)296 (425)418 (616)605 (733)5e40/15
MA-LS-CHAIN molina 4.8 (3)6.7 (3)7.9 (2)7.4 (1)5.8 (1.0)4.1 (0.9)3.7 (0.7)15/15
MCS huyer 2.7 (4)47 (119)41 (93)61 (80)71 (136)46 (104)54 (89)4/15
NELDERDOERR doerr 5.1 (7)5.6 (7)5.6 (6)4.9 (4)5.3 (6)5.6 (5)8.5 (7)14/15
NELDER hansen 1.0 (0.5)1.9 (2)2.8 (3)2.5 (2)2.3 (1)2.0 (0.9)2.6 (1)15/15
NEWUOA ros 1.7 (2)2.4 (1)3.6 (2)3.6 (2)3.3 (2)2.7 (1)2.9 (1)15/15
ONEFIFTH auger 1.6 (1)1.5 (1)1.7 (1)1.5 (1.0)1.3 (0.7)1.0 (0.7)1.00 (0.5)15/15
POEMS kubalik 27 (13)46 (6)53 (8)50 (4)46 (3)37 (2)37 (1)15/15
PSO Bounds el-abd 14 (9)49 (73)85 (83)105 (83)98 (74)78 (46)92 (21)15/15
PSO el-abd 4.7 (2)9.0 (5)11 (4)12 (3)11 (2)10 (2)11 (1)15/15
RANDOMSEARCH auger 303 (425)5.7e4 (5e4)5e60/15
Rosenbrock posik 2.2 (1)2.8 (5)2.4 (4)2.2 (4)4.3 (2)2.8 (2)2.4 (1)15/15
VNS garcia-martinez 3.7 (0.7)2.7 (0.4)2.9 (0.4)2.5 (0.3)2.0 (0.2)1.5 (0.2)1.4 (0.1)15/15
iAMALGAM bosman 2.1 (1)2.3 (0.9)3.2 (1)3.1 (1)2.7 (0.9)2.2 (0.7)2.3 (0.4)15/15

Δ fopt
f7, 5-D
1e1
24
1e0
324
1e-1
1171
1e-2
1451
1e-3
1572
1e-5
1572
1e-7
1597
#succ
15/15
ALPS hornby 33 (17)10 (4)5.7 (2)7.7 (2)9.0 (4)9.0 (4)10 (4)15/15
AMALGAM bosman 5.5 (5)1.00 (0.4)1.2 (0.4)1.8 (5)2.3 (4)2.3 (4)2.4 (4)15/15
BAYEDA gallagher 20 (20)31 (31)121 (160)98 (112)1e40/15
BFGS ros 6000/15
BIPOP-CMA-ES hansen 4.9 (5)1.5 (1)1.0 (1)1.00 (0.9)1.0 (0.9)1.0 (0.9)1.00 (0.9)15/15
CMA-ESPLUSSEL auger 3.4 (3)5.3 (6)2.0 (2)2.1 (2)3.1 (4)3.1 (4)3.1 (4)15/15
Cauchy-EDA posik 33 (19)4.9 (2)2.4 (0.7)2.9 (1.0)2.9 (0.9)2.9 (0.9)3.4 (1.0)15/15
DASA korosec 222 (249)281 (247)1108 (1213)2.0e4 (3e4)4e60/15
DE-PSO garcia-nieto 14 (5)3.0 (0.8)5.0 (7)7.2 (10)8.3 (9)8.3 (8)8.5 (8)8/15
DIRECT posik 2.7 (2)1.7 (1)115 (134)1e50/5
EDA-PSO el-abd 22 (19)24 (8)13 (3)17 (3)18 (2)18 (2)19 (2)15/15
FULLNEWUOA ros 0.98 (0.1)1.2 (1)4.0 (6)14 (12)24 (22)24 (23)23 (21)11/15
G3PCX posik 19 (35)18 (25)45 (47)152 (160)415 (418)415 (540)409 (582)2/15
GA nicolau 49 (55)35 (14)57 (12)245 (366)524 (639)524 (886)523 (628)5/15
GLOBAL pal 11 (7)5.7 (6)10 (10)18800/15
IPOP-SEP-CMA-ES ros 5.9 (3)1.8 (0.9)1.2 (0.7)1.2 (0.5)1.2 (0.5)1.2 (0.5)1.2 (0.5)15/15
LSfminbnd posik 48 (40)64 (92)100 (133)511 (448)5e40/15
LSstep posik 368 (192)696 (863)640 (779)5e40/15
MA-LS-CHAIN molina 8.2 (4)3.2 (1)13 (20)13 (16)24 (27)24 (27)24 (27)14/15
MCS huyer 2.8 (4)5.9 (4)13 (23)141 (147)5e40/15
NELDERDOERR doerr 1.3 (0.5)7.5 (12)15 (11)39 (41)71 (65)71 (66)71 (62)9/15
NELDER hansen 26 (45)33 (36)56 (57)119 (105)307 (479)307 (362)302 (391)9/15
NEWUOA ros 10 (15)13 (18)60 (60)3e40/15
ONEFIFTH auger 5.5 (8)6.8 (7)100 (113)372 (518)807 (1144)807 (1144)794 (1126)15/15
POEMS kubalik 72 (18)15 (6)9.2 (1)11 (2)21 (38)21 (38)22 (38)15/15
PSO Bounds el-abd 9.2 (7)13 (11)165 (216)140 (262)131 (167)131 (166)129 (160)11/15
PSO el-abd 11 (7)9.5 (15)587 (641)475 (690)541 (766)541 (478)533 (854)6/15
RANDOMSEARCH auger 38 (40)1206 (1091)5e60/15
Rosenbrock posik 1180 (1095)668 (855)2e40/15
VNS garcia-martinez 11 (5)1.6 (0.7)6.8 (10)6.6 (9)7.8 (10)7.8 (10)7.8 (10)15/15
iAMALGAM bosman 3.7 (3)1.9 (0.3)3.0 (3)2.9 (2)3.7 (2)3.7 (2)3.7 (2)15/15

Δ fopt
f8, 5-D
1e1
73
1e0
273
1e-1
336
1e-2
372
1e-3
391
1e-5
410
1e-7
422
#succ
15/15
ALPS hornby 51 (14)49 (28)104 (51)146 (46)177 (50)253 (80)341 (125)15/15
AMALGAM bosman 5.2 (2)6.1 (3)7.8 (3)8.1 (2)8.5 (2)9.1 (2)10 (2)15/15
BAYEDA gallagher 136 (206)1e40/15
BFGS ros 2.1 (2)1.8 (0.9)1.6 (0.7)1.5 (0.6)1.5 (0.6)1.5 (0.6)1.5 (0.5)15/15
BIPOP-CMA-ES hansen 3.2 (1)3.7 (2)4.5 (2)4.7 (2)4.8 (2)5.1 (2)5.4 (2)15/15
CMA-ESPLUSSEL auger 2.1 (2)5.1 (6)5.0 (5)4.9 (4)4.9 (4)4.9 (4)5.0 (4)15/15
Cauchy-EDA posik 50 (30)31 (9)33 (8)33 (7)34 (7)37 (6)40 (6)15/15
DASA korosec 19 (26)162 (298)387 (599)700 (789)1046 (976)1995 (988)3323 (932)15/15
DE-PSO garcia-nieto 12 (3)18 (5)1e40/15
DIRECT posik 4.1 (3)5.7 (5)22 (15)56 (42)100 (94)195 (198)294 (203)3/5
EDA-PSO el-abd 72 (64)103 (13)195 (20)296 (23)404 (19)625 (26)839 (33)15/15
FULLNEWUOA ros 1.6 (1)1.0 (0.4)1.0 (0.3)1.0 (0.3)1.0 (0.3)1.0 (0.3)1.0 (0.3)15/15
G3PCX posik 4.6 (5)20 (30)18 (25)17 (22)17 (21)16 (20)16 (20)15/15
GA nicolau 187 (35)837 (946)5e50/15
GLOBAL pal 5.0 (0.3)2.1 (1)2.1 (1)2.1 (0.9)2.1 (0.9)2.1 (0.9)2.2 (0.8)15/15
IPOP-SEP-CMA-ES ros 3.5 (2)5.8 (3)6.8 (0.9)6.7 (0.9)6.8 (0.6)6.9 (0.6)7.1 (0.7)15/15
LSfminbnd posik 10 (18)287 (281)453 (535)1905 (1714)5e40/15
LSstep posik 64 (30)96 (143)329 (446)912 (1139)1826 (1758)5e40/15
MA-LS-CHAIN molina 8.8 (2)7.2 (4)10 (2)10 (2)11 (2)11 (3)12 (3)15/15
MCS huyer 1.5 (0.9)1.0 (1)1.0 (1.0)1.0 (0.9)1.1 (0.9)1.1 (0.9)1.1 (0.8)15/15
NELDERDOERR doerr 2.1 (2)2.4 (2)2.4 (2)2.3 (2)2.3 (1)2.4 (1)2.4 (1)15/15
NELDER hansen 1.6 (1)3.7 (4)3.3 (4)3.2 (3)3.1 (3)3.1 (3)3.2 (3)15/15
NEWUOA ros 1.0 (1.0)1.1 (0.8)1.2 (0.5)1.2 (0.5)1.2 (0.4)1.2 (0.4)1.2 (0.4)15/15
ONEFIFTH auger 15 (18)242 (610)227 (495)236 (447)258 (426)317 (406)382 (396)15/15
POEMS kubalik 69 (29)181 (32)200 (192)387 (330)745 (464)5486 (3477)1.8e4 (1e4)0/15
PSO Bounds el-abd 30 (15)468 (256)922 (284)1176 (719)1409 (660)5e50/15
PSO el-abd 13 (4)153 (14)201 (76)313 (105)467 (112)781 (138)1104 (132)7/15
RANDOMSEARCH auger 2.0e4 (3e4)5e60/15
Rosenbrock posik 33 (6)23 (62)22 (53)23 (48)25 (46)30 (47)36 (57)13/15
VNS garcia-martinez 5.1 (2)6.6 (10)7.7 (8)21 (57)46 (99)47 (113)46 (110)15/15
iAMALGAM bosman 3.4 (1)7.5 (14)7.7 (12)7.7 (11)7.7 (11)8.1 (10)8.4 (10)15/15

Δ fopt
f9, 5-D
1e1
35
1e0
127
1e-1
214
1e-2
263
1e-3
300
1e-5
335
1e-7
369
#succ
15/15
ALPS hornby 89 (18)92 (54)134 (93)197 (107)259 (111)374 (148)561 (315)15/15
AMALGAM bosman 9.0 (3)23 (7)18 (6)17 (5)16 (4)16 (4)15 (4)15/15
BAYEDA gallagher 37 (20)1e40/15
BFGS ros 3.6 (3)3.0 (2)2.0 (1)1.8 (1.0)1.6 (0.9)1.5 (0.8)1.4 (0.7)15/15
BIPOP-CMA-ES hansen 5.8 (2)8.7 (3)7.2 (2)6.7 (2)6.4 (2)6.3 (1)6.2 (1)15/15
CMA-ESPLUSSEL auger 4.2 (1)7.7 (4)5.9 (3)5.3 (2)5.0 (2)4.9 (2)4.7 (2)15/15
Cauchy-EDA posik 71 (47)54 (22)45 (11)42 (9)41 (7)42 (8)43 (8)15/15
DASA korosec 223 (229)6694 (2e4)4781 (9377)4583 (7815)4797 (7147)6578 (8595)8879 (6878)12/15
DE-PSO garcia-nieto 21 (11)146 (141)1e40/15
DIRECT posik 3.1 (2)4.2 (2)48 (38)56 (48)134 (87)151 (79)306 (300)3/5
EDA-PSO el-abd 243 (99)208 (35)268 (100)469 (287)701 (486)1337 (888)2849 (2378)5/15
FULLNEWUOA ros 2.6 (1)2.7 (2)1.9 (1)1.7 (1)1.5 (1)1.4 (0.9)1.3 (0.8)15/15
G3PCX posik 14 (21)18 (13)14 (7)12 (6)11 (6)10 (5)10 (5)15/15
GA nicolau 418 (81)5.6e4 (7e4)5e50/15
GLOBAL pal 11 (2)4.6 (1)3.2 (0.8)3.0 (0.8)2.8 (0.7)2.7 (0.6)2.7 (1)13/15
IPOP-SEP-CMA-ES ros 10 (3)11 (3)10 (0.6)8.8 (0.7)8.3 (0.5)8.0 (0.5)7.7 (0.5)15/15
LSfminbnd posik 13 (14)131 (217)183 (140)445 (475)5e40/15
LSstep posik 513 (714)5594 (6004)5e40/15
MA-LS-CHAIN molina 17 (3)20 (8)17 (5)17 (6)17 (8)16 (9)16 (7)15/15
MCS huyer 0.99 (0.5)1 (0.2)1 (0.2)1.0 (0.2)1.0 (0.2)1.0 (0.2)1 (0.1)15/15
NELDERDOERR doerr 2.3 (0.9)3.1 (2)2.5 (1)2.3 (0.9)2.1 (0.8)2.1 (0.7)2.0 (0.7)15/15
NELDER hansen 3.1 (4)13 (24)8.2 (14)6.9 (11)6.2 (10)5.8 (9)5.4 (8)15/15
NEWUOA ros 1.8 (0.7)3.6 (3)2.5 (2)2.1 (1)1.9 (1)1.9 (1)1.7 (0.9)15/15
ONEFIFTH auger 2.8 (0.9)103 (18)80 (23)99 (38)128 (38)201 (30)266 (28)15/15
POEMS kubalik 134 (56)131 (20)290 (296)596 (436)1054 (377)1.1e4 (1e4)5e50/15
PSO Bounds el-abd 217 (150)1460 (2068)1608 (1180)1841 (996)3967 (3794)2.2e4 (2e4)2.0e4 (3e4)1/15
PSO el-abd 24 (13)938 (2030)678 (1219)794 (1072)1131 (1423)2363 (2162)2753 (2913)5/15
RANDOMSEARCH auger 4.1e4 (4e4)5e60/15
Rosenbrock posik 5.3 (7)10 (14)10 (13)15 (11)14 (10)14 (9)14 (9)15/15
VNS garcia-martinez 11 (3)18 (36)14 (22)12 (18)11 (15)11 (14)10 (13)15/15
iAMALGAM bosman 7.0 (2)22 (33)15 (21)14 (17)13 (15)12 (14)12 (13)15/15

Δ fopt
f10, 5-D
1e1
349
1e0
500
1e-1
574
1e-2
607
1e-3
626
1e-5
829
1e-7
880
#succ
15/15
ALPS hornby 88 (52)316 (307)888 (686)1980 (1298)5261 (3994)5e60/15
AMALGAM bosman 1.9 (0.8)1.8 (0.6)2.0 (0.8)2.3 (0.9)2.5 (0.9)2.3 (0.7)2.6 (0.6)15/15
BAYEDA gallagher 1e40/15
BFGS ros 1.0 (0.5)1.00 (0.2)1.0 (0.3)1 (0.3)1.00 (0.3)1.1 (0.4)23 (30)5/15
BIPOP-CMA-ES hansen 3.5 (0.8)2.9 (0.4)2.7 (0.4)2.7 (0.3)2.8 (0.2)2.3 (0.2)2.4 (0.1)15/15
CMA-ESPLUSSEL auger 2.5 (0.9)2.2 (0.3)2.0 (0.3)2.1 (0.3)2.1 (0.3)1.7 (0.2)1.7 (0.2)15/15
Cauchy-EDA posik 11 (3)9.0 (2)9.4 (2)11 (2)12 (2)11 (1)13 (2)15/15
DASA korosec 6920 (9214)1.8e4 (2e4)3.9e4 (3e4)5.9e4 (6e4)1.2e5 (1e5)9.0e4 (8e4)5e60/15
DE-PSO garcia-nieto 213 (259)1e40/15
DIRECT posik 110 (172)141 (184)281 (440)1e50/5
EDA-PSO el-abd 887 (1459)1392 (2002)3930 (3583)1.2e4 (2e4)5e50/15
FULLNEWUOA ros 3.6 (2)6.2 (2)8.7 (3)10 (3)13 (4)13 (3)17 (4)12/15
G3PCX posik 22 (20)27 (20)36 (21)41 (22)49 (25)51 (23)64 (20)15/15
GA nicolau 2375 (2912)5e50/15
GLOBAL pal 1.9 (0.7)1.6 (0.5)1.8 (0.7)1.9 (1)2.0 (1)1.7 (1)1.7 (1)15/15
IPOP-SEP-CMA-ES ros 7.4 (1)5.6 (0.7)5.1 (0.5)5.0 (0.4)5.0 (0.4)4.0 (0.3)3.9 (0.2)15/15
LSfminbnd posik 5e40/15
LSstep posik 5e40/15
MA-LS-CHAIN molina 9.0 (2)9.3 (4)8.6 (4)8.6 (3)8.8 (3)6.9 (2)6.9 (2)15/15
MCS huyer 277 (331)5e40/15
NELDERDOERR doerr 1.2 (0.9)1.3 (0.6)1.2 (0.5)1.2 (0.5)1.2 (0.5)1.0 (0.4)1.00 (0.4)15/15
NELDER hansen 1.4 (0.9)1.3 (0.7)1.4 (0.7)1.4 (0.7)1.5 (0.7)1.2 (0.7)1.2 (0.6)15/15
NEWUOA ros 3.1 (3)5.5 (4)8.1 (7)11 (7)14 (9)16 (8)21 (8)15/15
ONEFIFTH auger 699 (905)2505 (1141)4463 (1046)5853 (1177)1.4e4 (1e4)5e60/15
POEMS kubalik 792 (1267)2483 (2606)5e50/15
PSO Bounds el-abd 3786 (2719)1.5e4 (1e4)5e50/15
PSO el-abd 1741 (1442)3259 (2102)5e50/15
RANDOMSEARCH auger 5e60/15
Rosenbrock posik 24 (43)44 (81)40 (71)38 (46)37 (46)29 (63)37 (61)10/15
VNS garcia-martinez 4.5 (1)3.5 (0.8)3.4 (0.4)3.4 (0.4)3.5 (0.5)2.8 (0.3)2.8 (0.3)15/15
iAMALGAM bosman 1.8 (0.9)1.6 (0.7)1.7 (0.8)1.9 (0.8)2.0 (0.7)1.8 (0.5)2.0 (0.5)15/15

Δ fopt
f11, 5-D
1e1
143
1e0
202
1e-1
763
1e-2
977
1e-3
1177
1e-5
1467
1e-7
1673
#succ
15/15
ALPS hornby 54 (58)339 (264)299 (204)536 (170)806 (352)1807 (699)2.2e4 (2e4)0/15
AMALGAM bosman 2.1 (0.6)2.7 (1)1.00 (0.4)1.00 (0.4)1.00 (0.3)1.0 (0.2)1.1 (0.3)15/15
BAYEDA gallagher 158 (176)1e40/15
BFGS ros 1.00 (0.2)1.00 (0.5)1.1 (1)1.9 (2)8.2 (11)199 (242)4e40/15
BIPOP-CMA-ES hansen 8.3 (3)7.1 (2)2.2 (0.3)1.8 (0.2)1.6 (0.2)1.4 (0.1)1.3 (0.1)15/15
CMA-ESPLUSSEL auger 6.5 (2)6.6 (1)2.1 (0.3)1.8 (0.2)1.5 (0.2)1.3 (0.1)1.2 (0.1)15/15
Cauchy-EDA posik 18 (8)17 (4)6.0 (1)5.5 (0.9)5.3 (1.0)5.6 (0.9)5.9 (0.7)15/15
DASA korosec 1921 (1981)5198 (4338)2339 (1341)2814 (1079)3217 (2385)9681 (8355)4.5e4 (4e4)0/15
DE-PSO garcia-nieto 137 (122)1e40/15
DIRECT posik 87 (161)2226 (2600)1e50/5
EDA-PSO el-abd 106 (89)645 (1046)973 (851)2424 (2472)6217 (7434)5e50/15
FULLNEWUOA ros 11 (4)14 (6)5.4 (2)4.9 (1)5.3 (1)5.9 (1)6.5 (1)13/15
G3PCX posik 55 (75)110 (57)45 (14)44 (15)49 (15)56 (22)61 (21)14/15
GA nicolau 338 (65)7124 (8700)9351 (9707)5e50/15
GLOBAL pal 3.9 (2)5.4 (3)3.5 (3)5.1 (7)5.0 (6)5.0 (7)8.5 (9)8/15
IPOP-SEP-CMA-ES ros 16 (9)14 (2)4.2 (0.3)3.4 (0.3)2.9 (0.2)2.5 (0.1)2.2 (0.1)15/15
LSfminbnd posik 5e40/15
LSstep posik 4896 (4546)5e40/15
MA-LS-CHAIN molina 15 (11)19 (7)6.7 (2)5.6 (1)4.9 (1.0)4.2 (1)3.8 (0.9)15/15
MCS huyer 82 (106)461 (436)5e40/15
NELDERDOERR doerr 4.5 (4)4.7 (3)1.5 (0.8)1.4 (0.6)1.2 (0.5)1.1 (0.5)1.2 (0.5)15/15
NELDER hansen 3.2 (3)5.0 (3)1.7 (0.5)1.6 (0.7)1.5 (0.7)1.5 (0.7)1.6 (0.7)15/15
NEWUOA ros 3.5 (2)4.7 (2)1.8 (0.6)1.7 (0.5)1.8 (0.4)2.0 (0.3)2.2 (0.4)15/15
ONEFIFTH auger 6381 (3062)9277 (1848)3729 (676)3788 (593)6671 (4290)5e60/15
POEMS kubalik 227 (426)508 (325)267 (216)349 (177)627 (599)936 (1089)2184 (1270)2/15
PSO Bounds el-abd 428 (616)1441 (1395)1008 (1302)1009 (1240)1076 (850)1521 (1705)1371 (1724)3/15
PSO el-abd 91 (61)235 (120)123 (68)140 (66)164 (65)243 (52)391 (299)8/15
RANDOMSEARCH auger 725 (479)1.1e5 (1e5)5e60/15
Rosenbrock posik 117 (179)88 (129)26 (34)21 (27)18 (22)14 (32)13 (19)12/15
VNS garcia-martinez 11 (2)8.7 (1)2.5 (0.4)2.1 (0.3)1.8 (0.2)1.6 (0.2)1.5 (0.1)15/15
iAMALGAM bosman 3.4 (2)3.8 (2)1.2 (0.5)1.1 (0.4)1.0 (0.3)1.00 (0.3)1.00 (0.2)15/15

Δ fopt
f12, 5-D
1e1
108
1e0
268
1e-1
371
1e-2
413
1e-3
461
1e-5
1303
1e-7
1494
#succ
15/15
ALPS hornby 127 (16)167 (183)538 (423)1439 (1268)4216 (3368)2.7e4 (6e4)5e60/15
AMALGAM bosman 10 (3)6.7 (5)8.6 (10)10 (10)11 (10)5.1 (5)5.2 (5)15/15
BAYEDA gallagher 96 (92)258 (420)390 (209)1e40/15
BFGS ros 1.1 (0.9)1.00 (0.6)1.00 (0.6)1 (0.6)1.0 (0.6)2.0 (3)49 (65)5/15
BIPOP-CMA-ES hansen 11 (12)7.4 (8)7.4 (6)7.5 (5)7.7 (5)3.3 (2)3.3 (2)15/15
CMA-ESPLUSSEL auger 4.0 (4)2.9 (2)3.5 (2)3.9 (2)4.1 (3)1.9 (1)1.9 (1)15/15
Cauchy-EDA posik 79 (27)41 (11)35 (10)37 (9)38 (10)17 (5)17 (5)15/15
DASA korosec 1.2e4 (2e4)5.4e4 (4e4)5.9e4 (9e4)1.8e5 (2e5)5e60/15
DE-PSO garcia-nieto 55 (48)47 (60)120 (115)1e40/15
DIRECT posik 8.5 (1)8.7 (6)19 (17)39 (46)108 (62)377 (365)1e50/5
EDA-PSO el-abd 1077 (2293)2970 (3284)8919 (1e4)5e50/15
FULLNEWUOA ros 3.7 (6)2.6 (4)2.7 (4)3.0 (4)3.3 (4)1.6 (2)1.7 (2)15/15
G3PCX posik 14 (15)11 (9)13 (5)13 (5)12 (5)5.2 (3)5.1 (3)15/15
GA nicolau 933 (149)2447 (975)1.9e4 (3e4)5e50/15
GLOBAL pal 4.6 (1)2.7 (0.6)2.4 (0.8)3.0 (2)5.0 (5)3.1 (3)3.4 (4)6/15
IPOP-SEP-CMA-ES ros 12 (12)11 (5)9.1 (5)8.7 (5)8.6 (5)3.5 (2)3.3 (2)15/15
LSfminbnd posik 311 (232)1214 (1399)1888 (2662)5e40/15
LSstep posik 463 (523)1236 (1299)5e40/15
MA-LS-CHAIN molina 11 (4)13 (9)16 (7)15 (8)16 (9)6.7 (4)6.5 (4)15/15
MCS huyer 1.0 (0.2)18 (47)17 (33)15 (30)22 (32)26 (27)56 (101)6/15
NELDERDOERR doerr 4.4 (6)2.9 (4)2.7 (3)2.7 (3)2.7 (2)1.1 (1.0)1.2 (1.0)15/15
NELDER hansen 2.3 (1)2.2 (2)2.2 (1)2.2 (1)2.3 (1)1.00 (0.6)1.00 (0.6)15/15
NEWUOA ros 3.5 (3)2.6 (3)2.5 (2)2.5 (2)2.6 (2)1.1 (1)1.1 (1.0)15/15
ONEFIFTH auger 2.1e4 (2e4)6.1e4 (4e4)1.9e5 (3e5)5e60/15
POEMS kubalik 1903 (4637)2910 (2810)8850 (1e4)5e50/15
PSO Bounds el-abd 1870 (4654)2455 (3204)5487 (6063)1.7e4 (3e4)5e50/15
PSO el-abd 748 (2315)3747 (5597)5406 (6402)7886 (8172)1.5e4 (1e4)5e50/15
RANDOMSEARCH auger 5e60/15
Rosenbrock posik 99 (232)63 (101)91 (118)103 (78)95 (116)42 (39)48 (62)6/15
VNS garcia-martinez 19 (16)12 (9)10 (8)10 (7)9.4 (7)3.8 (3)3.6 (3)15/15
iAMALGAM bosman 6.9 (3)4.3 (2)4.0 (1)4.3 (1)4.7 (2)2.1 (0.9)2.3 (1.0)15/15

Δ fopt
f13, 5-D
1e1
132
1e0
195
1e-1
250
1e-2
319
1e-3
1310
1e-5
1752
1e-7
2255
#succ
15/15
ALPS hornby 50 (9)83 (30)281 (180)442 (372)566 (784)3899 (3782)5e60/15
AMALGAM bosman 4.2 (2)4.6 (1)4.9 (1)4.9 (1)1.5 (0.4)1.4 (0.3)1.4 (0.2)15/15
BAYEDA gallagher 174 (193)353 (372)1e40/15
BFGS ros 1.0 (0.2)1.00 (0.1)1.00 (0.1)1.0 (0.1)4.8 (9)136 (125)5e40/15
BIPOP-CMA-ES hansen 3.9 (3)5.4 (3)5.9 (3)5.4 (2)1.6 (0.3)1.5 (0.2)1.7 (0.8)15/15
CMA-ESPLUSSEL auger 4.5 (4)6.3 (4)6.1 (3)6.3 (5)1.9 (1)3.2 (4)3.1 (3)15/15
Cauchy-EDA posik 21 (3)24 (4)25 (4)25 (5)7.4 (1.0)7.3 (0.9)7.3 (1.0)15/15
DASA korosec 201 (307)643 (630)2452 (1921)7825 (8599)5038 (6917)5e60/15
DE-PSO garcia-nieto 11 (3)348 (283)276 (171)236 (181)1e40/15
DIRECT posik 7.0 (5)21 (15)34 (15)144 (177)42 (48)119 (114)1e50/5
EDA-PSO el-abd 150 (33)389 (43)1985 (3001)1.0e4 (1e4)5e50/15
FULLNEWUOA ros 1.9 (3)6.7 (9)23 (25)85 (99)97 (151)5e40/15
G3PCX posik 14 (16)60 (70)151 (158)341 (512)124 (137)592 (480)2e50/15
GA nicolau 243 (30)726 (1285)4390 (5512)2.3e4 (2e4)5e50/15
GLOBAL pal 4.2 (3)6.1 (5)11 (11)12620/15
IPOP-SEP-CMA-ES ros 9.1 (10)11 (7)12 (0.8)11 (0.7)2.8 (0.2)2.5 (0.2)2.3 (0.2)15/15
LSfminbnd posik 33 (43)148 (163)543 (477)1095 (1610)5e40/15
LSstep posik 547 (838)1120 (1605)2871 (3250)5e40/15
MA-LS-CHAIN molina 8.3 (7)21 (20)24 (14)20 (11)5.1 (3)5.3 (2)4.9 (1)15/15
MCS huyer 41 (50)214 (218)462 (500)2259 (2704)550 (620)5e40/15
NELDERDOERR doerr 2.4 (3)2.4 (3)5.2 (6)6.1 (9)1.9 (2)3.9 (3)5.0 (5)15/15
NELDER hansen 2.0 (3)3.8 (4)5.3 (3)5.0 (2)1.3 (0.6)1.2 (0.7)1.3 (0.9)15/15
NEWUOA ros 3.2 (3)9.3 (12)35 (36)55 (46)54 (55)335 (492)4e40/15
ONEFIFTH auger 20 (19)30 (29)110 (105)246 (243)156 (143)1518 (1783)7247 (8405)1/15
POEMS kubalik 88 (18)657 (1286)5642 (6003)1.0e4 (1e4)5e50/15
PSO Bounds el-abd 348 (89)2372 (2664)5653 (6505)1.0e4 (1e4)5434 (4389)5e50/15
PSO el-abd 1582 (2416)1.0e4 (1e4)2.8e4 (3e4)5e50/15
RANDOMSEARCH auger 5e60/15
Rosenbrock posik 7.6 (7)13 (10)26 (20)49 (67)40 (51)63 (76)290 (446)1/15
VNS garcia-martinez 4.8 (3)5.6 (3)6.6 (2)6.2 (2)1.9 (0.4)1.9 (0.3)2.1 (0.3)15/15
iAMALGAM bosman 2.6 (0.5)2.9 (0.4)3.2 (0.4)3.3 (0.6)1.0 (0.2)1.00 (0.2)1.00 (0.2)15/15

Δ fopt
f14, 5-D
1e1
10
1e0
41
1e-1
58
1e-2
90
1e-3
139
1e-5
251
1e-7
476
#succ
15/15
ALPS hornby 2.4 (3)31 (15)66 (7)72 (10)75 (18)396 (260)1.0e4 (1e4)2/15
AMALGAM bosman 2.0 (2)4.5 (2)6.1 (2)6.6 (2)5.8 (2)5.2 (2)3.8 (1)15/15
BAYEDA gallagher 2.9 (2)104 (128)223 (348)250 (307)1036 (809)1e40/15
BFGS ros 2.2 (2)1.7 (1)1.8 (1)1.5 (0.8)1.3 (0.6)1.0 (0.4)350 (347)0/15
BIPOP-CMA-ES hansen 1.1 (0.9)2.8 (1)3.7 (0.9)4.0 (0.9)4.5 (0.7)5.4 (0.5)4.5 (0.3)15/15
CMA-ESPLUSSEL auger 1.7 (3)1.9 (0.8)2.3 (0.5)2.3 (0.5)2.6 (0.8)4.0 (1.0)3.2 (0.3)15/15
Cauchy-EDA posik 23 (21)29 (15)40 (16)39 (10)33 (7)28 (4)19 (3)15/15
DASA korosec 19 (16)18 (8)20 (6)21 (6)48 (37)3482 (2829)5e60/15
DE-PSO garcia-nieto 2.6 (2)6.8 (2)9.0 (2)11 (1)17 (4)1e40/15
DIRECT posik 0.98 (1)3.7 (3)4.8 (3)7.3 (2)23 (25)1895 (2193)1e50/5
EDA-PSO el-abd 1.4 (1)7.1 (4)96 (75)192 (43)210 (26)296 (184)5e50/15
FULLNEWUOA ros 2.7 (0.5)1.1 (0.3)1.1 (0.2)1.00 (0.3)1.00 (0.2)3.2 (0.9)26 (5)0/15
G3PCX posik 1.6 (1)3.5 (0.8)3.5 (0.6)3.6 (1.0)5.0 (1)26 (16)388 (384)3/15
GA nicolau 2.1 (2)90 (64)267 (66)305 (38)349 (71)5e50/15
GLOBAL pal 2.1 (2)7.7 (0.2)5.9 (0.3)4.4 (0.5)3.3 (0.4)3.6 (2)13020/15
IPOP-SEP-CMA-ES ros 1.6 (2)3.0 (1)3.6 (1)3.6 (0.9)5.3 (3)10 (1)6.4 (0.4)15/15
LSfminbnd posik 5.7 (5)4.5 (3)4.3 (2)7.4 (6)70 (59)5e40/15
LSstep posik 115 (100)96 (59)97 (41)179 (124)5e40/15
MA-LS-CHAIN molina 2.0 (2)7.2 (2)11 (2)11 (6)11 (4)16 (8)12 (5)15/15
MCS huyer 1.4 (2)2.8 (3)2.7 (2)2.5 (2)2.8 (1)225 (232)5e40/15
NELDERDOERR doerr 1.0 (0.7)1.1 (0.4)1.4 (0.6)1.6 (0.5)1.7 (0.6)1.6 (0.5)1.3 (0.4)15/15
NELDER hansen 1.1 (1)1.1 (0.6)1.5 (0.5)1.5 (0.5)1.4 (0.3)1.3 (0.3)1.00 (0.1)15/15
NEWUOA ros 1.6 (0.6)1.00 (0.4)1.0 (0.3)1 (0.2)1.2 (0.3)5.5 (2)2523 (3055)0/15
ONEFIFTH auger 2.0 (2)1.8 (0.8)2.1 (0.8)2.2 (0.9)5.5 (3)1120 (10)5e60/15
POEMS kubalik 106 (16)42 (12)81 (34)131 (33)138 (12)632 (719)5e50/15
PSO Bounds el-abd 1.9 (2)12 (8)45 (16)74 (30)138 (87)409 (260)5e50/15
PSO el-abd 1.8 (2)5.6 (3)15 (4)21 (5)29 (8)219 (158)5e50/15
RANDOMSEARCH auger 1.2 (1)100 (103)7.6e4 (8e4)5e60/15
Rosenbrock posik 2.3 (2)1.2 (0.5)1.3 (0.4)1.5 (0.7)4.5 (3)26 (20)43 (58)10/15
VNS garcia-martinez 3.3 (3)5.5 (2)5.4 (2)5.3 (1)5.3 (1)7.0 (0.8)5.5 (0.8)15/15
iAMALGAM bosman 1.3 (1)2.7 (2)4.3 (2)4.5 (0.8)4.1 (0.9)3.6 (0.8)2.7 (0.5)15/15

Δ fopt
f15, 5-D
1e1
511
1e0
9310
1e-1
19369
1e-2
19743
1e-3
20073
1e-5
20769
1e-7
21359
#succ
14/15
ALPS hornby 9.2 (2)9.0 (9)26 (29)26 (28)26 (28)25 (27)25 (26)15/15
AMALGAM bosman 1.7 (0.6)2.6 (2)5.3 (3)5.2 (3)5.2 (3)5.1 (3)5.0 (3)15/15
BAYEDA gallagher 4.8 (3)1e40/15
BFGS ros 87 (95)2e40/15
BIPOP-CMA-ES hansen 1.6 (2)1.5 (1)1.2 (0.7)1.2 (0.7)1.2 (0.7)1.2 (0.7)1.2 (0.7)15/15
CMA-ESPLUSSEL auger 10 (13)80 (91)5e40/15
Cauchy-EDA posik 12 (13)186 (309)3e50/15
DASA korosec 231 (423)1734 (1309)5e60/15
DE-PSO garcia-nieto 7.9 (7)1e40/15
DIRECT posik 5.4 (4)9.4 (7)1e50/5
EDA-PSO el-abd 20 (5)7.5 (5)24 (39)23 (26)23 (13)24 (30)24 (24)8/15
FULLNEWUOA ros 6.3 (6)55 (53)3e40/15
G3PCX posik 126 (292)373 (536)2e50/15
GA nicolau 35 (8)91 (68)367 (622)361 (356)355 (225)345 (357)5e50/15
GLOBAL pal 6.0 (7)26590/15
IPOP-SEP-CMA-ES ros 1.6 (3)1.0 (0.8)1.00 (0.7)1 (0.6)1.00 (0.6)1.0 (0.6)1.00 (0.6)14/15
LSfminbnd posik 35 (42)5e40/15
LSstep posik 1380 (881)80 (68)5e40/15
MA-LS-CHAIN molina 2.6 (2)5.3 (7)6.0 (7)5.9 (5)5.8 (10)5.6 (5)5.5 (5)10/15
MCS huyer 4.0 (4)25 (26)38 (36)38 (39)37 (37)36 (46)5e40/15
NELDERDOERR doerr 4.5 (5)20 (25)73 (74)72 (74)71 (65)69 (69)67 (52)1/15
NELDER hansen 20 (24)43 (56)83 (80)81 (70)80 (58)77 (112)75 (57)4/15
NEWUOA ros 5.8 (6)41 (39)3e40/15
ONEFIFTH auger 28 (41)103 (95)246 (421)241 (236)237 (390)229 (211)223 (260)10/15
POEMS kubalik 15 (6)130 (134)375 (484)368 (443)362 (517)350 (247)341 (421)1/15
PSO Bounds el-abd 171 (493)119 (100)5e50/15
PSO el-abd 16 (7)221 (363)366 (400)359 (291)353 (498)342 (319)333 (322)1/15
RANDOMSEARCH auger 6853 (6605)5e60/15
Rosenbrock posik 311 (332)5e40/15
VNS garcia-martinez 2.4 (3)5.9 (6)684 (1364)689 (1343)684 (1320)678 (1276)667 (1241)14/15
iAMALGAM bosman 1.00 (0.5)7.0 (9)9.2 (11)9.1 (11)9.0 (11)8.8 (10)8.6 (10)15/15

Δ fopt
f16, 5-D
1e1
120
1e0
612
1e-1
2662
1e-2
10163
1e-3
10449
1e-5
11644
1e-7
12095
#succ
15/15
ALPS hornby 2.6 (3)8.6 (3)6.3 (4)6.7 (9)13 (13)157 (188)826 (813)2/15
AMALGAM bosman 3.1 (3)15 (23)12 (14)5.0 (7)4.9 (6)5.5 (6)5.4 (6)15/15
BAYEDA gallagher 5.7 (5)1e40/15
BFGS ros 153 (140)960 (785)4e40/15
BIPOP-CMA-ES hansen 3.0 (3)3.6 (3)2.6 (1)1.1 (1)1.3 (2)1.4 (2)1.4 (2)15/15
CMA-ESPLUSSEL auger 2.6 (5)10 (11)17 (28)21 (23)31 (35)60 (71)5e40/15
Cauchy-EDA posik 5.6 (7)1193 (1480)3e50/15
DASA korosec 4.8 (4)308 (289)976 (1037)1236 (1436)5e60/15
DE-PSO garcia-nieto 11 (13)1e40/15
DIRECT posik 1.2 (0.7)1.6 (0.7)3.4 (3)2.1 (2)5.9 (7)19 (19)40 (54)1/5
EDA-PSO el-abd 4.6 (5)206 (295)82 (129)38 (50)53 (62)61 (77)61 (66)7/15
FULLNEWUOA ros 2.7 (4)12 (11)29 (43)32 (28)5e40/15
G3PCX posik 1.0 (0.6)22 (24)44 (50)32 (31)347 (281)3e50/15
GA nicolau 2.1 (2)84 (59)93 (95)71 (88)148 (134)621 (614)605 (426)0/15
GLOBAL pal 1.4 (1)1.0 (0.5)1.0 (1)1.3 (1)3.5 (4)6.8 (6)6.6 (7)0/15
IPOP-SEP-CMA-ES ros 2.1 (2)5.0 (3)3.5 (2)1.00 (0.6)1.0 (0.6)1.00 (0.5)1.0 (0.5)15/15
LSfminbnd posik 3.2 (5)28 (34)133 (141)71 (153)5e40/15
LSstep posik 14 (22)276 (263)5e40/15
MA-LS-CHAIN molina 2.7 (2)8.2 (10)18 (20)11 (9)26 (20)50 (56)75 (84)2/15
MCS huyer 1.9 (3)18 (23)131 (179)5e40/15
NELDERDOERR doerr 1.6 (3)4.8 (7)10 (10)6.3 (6)13 (13)59 (86)119 (107)0/15
NELDER hansen 4.4 (9)28 (45)23 (22)25 (30)95 (93)302 (318)597 (662)1/15
NEWUOA ros 2.1 (2)29 (23)4e40/15
ONEFIFTH auger 37 (79)88 (101)344 (341)591 (492)2156 (1756)5e60/15
POEMS kubalik 12 (3)74 (12)76 (96)58 (74)57 (84)52 (75)54 (67)7/15
PSO Bounds el-abd 2.4 (2)36 (33)140 (194)140 (234)317 (358)5e50/15
PSO el-abd 2.4 (3)6.2 (5)59 (94)55 (85)89 (177)300 (301)580 (620)0/15
RANDOMSEARCH auger 3.6 (6)510 (513)5e60/15
Rosenbrock posik 40 (59)1191 (1532)5e40/15
VNS garcia-martinez 2.8 (3)12 (16)12 (14)9.1 (10)12 (9)34 (27)45 (59)15/15
iAMALGAM bosman 1.9 (2)8.6 (8)5.5 (6)4.4 (5)5.9 (4)6.4 (7)6.8 (7)15/15

Δ fopt
f17, 5-D
1e1
5.0
1e0
215
1e-1
899
1e-2
2861
1e-3
3669
1e-5
6351
1e-7
7934
#succ
15/15
ALPS hornby 2.5 (2)12 (5)8.0 (2)4.8 (0.6)7.1 (1.0)21 (21)68 (69)8/15
AMALGAM bosman 4.0 (5)1.5 (0.7)2.7 (0.3)2.6 (4)2.7 (4)3.4 (2)3.5 (2)15/15
BAYEDA gallagher 2.3 (2)6.7 (2)5.4 (3)4.1 (5)7.5 (8)1e40/15
BFGS ros 125 (209)645 (796)2e40/15
BIPOP-CMA-ES hansen 3.5 (3)1.00 (0.2)1.0 (2)1.00 (0.9)1.00 (0.7)1.00 (0.5)1.2 (0.5)15/15
CMA-ESPLUSSEL auger 4.7 (6)27 (27)108 (103)5e40/15
Cauchy-EDA posik 46 (51)13 (5)7.0 (3)3.8 (1)4.3 (0.8)5.3 (1)13 (7)14/15
DASA korosec 175 (417)383 (428)730 (1117)1844 (2074)1.9e4 (3e4)5e60/15
DE-PSO garcia-nieto 7.9 (17)3.5 (1)2.8 (1)3.1 (4)4.5 (4)12 (13)1e40/15
DIRECT posik 1.0 (1)1.4 (1)1.7 (0.7)2.7 (2)4.4 (5)9.5 (12)10 (9)1/5
EDA-PSO el-abd 2.5 (2)27 (11)28 (4)16 (1)18 (1)17 (0.6)19 (0.6)15/15
FULLNEWUOA ros 5.1 (4)25 (33)76 (82)253 (206)5e40/15
G3PCX posik 2.3 (2)128 (91)292 (415)3e50/15
GA nicolau 5.6 (6)46 (12)36 (4)52 (88)189 (346)550 (649)5e50/15
GLOBAL pal 3.6 (3)5.0 (4)31400/15
IPOP-SEP-CMA-ES ros 4.0 (5)3.4 (10)1.3 (2)1.0 (0.8)1.0 (0.6)1.1 (0.6)1.00 (0.5)15/15
LSfminbnd posik 247 (721)64 (127)175 (222)256 (275)5e40/15
LSstep posik 157 (200)675 (872)5e40/15
MA-LS-CHAIN molina 3.9 (4)2.8 (1)3.1 (1)4.1 (0.4)9.3 (17)7.3 (10)11 (10)8/15
MCS huyer 2.0 (2)24 (24)63 (62)5e40/15
NELDERDOERR doerr 2.0 (2)10 (17)48 (48)1e50/15
NELDER hansen 57 (198)170 (158)295 (361)2482 (3338)5e50/15
NEWUOA ros 2.4 (2)40 (47)618 (672)3e40/15
ONEFIFTH auger 1244 (9)7933 (1e4)3.8e4 (4e4)5e60/15
POEMS kubalik 174 (142)15 (6)14 (3)21 (0.7)19 (0.4)29 (40)41 (63)10/15
PSO Bounds el-abd 3.5 (3)7.9 (5)52 (8)35 (88)51 (68)61 (77)122 (161)0/15
PSO el-abd 3.4 (4)169 (2)142 (279)156 (264)548 (647)514 (472)420 (627)1/15
RANDOMSEARCH auger 4.2 (4)837 (1150)5e60/15
Rosenbrock posik 2803 (5857)5e40/15
VNS garcia-martinez 6.9 (4)1.6 (0.7)4.8 (6)4.8 (8)7.9 (7)18 (18)82 (95)15/15
iAMALGAM bosman 2.8 (2)1.1 (0.4)3.8 (4)2.9 (5)4.6 (5)6.3 (7)6.8 (5)15/15

Δ fopt
f18, 5-D
1e1
103
1e0
378
1e-1
3968
1e-2
8451
1e-3
9280
1e-5
10905
1e-7
12469
#succ
15/15
ALPS hornby 8.2 (4)14 (4)3.3 (1)14 (19)49 (44)421 (355)5e60/15
AMALGAM bosman 1.6 (0.9)1.7 (0.5)2.0 (3)1.5 (2)2.4 (2)3.4 (3)3.1 (3)15/15
BAYEDA gallagher 4.4 (4)10 (4)11 (15)8.7 (13)1e40/15
BFGS ros 57 (59)2e40/15
BIPOP-CMA-ES hansen 1.0 (0.7)3.4 (5)1.0 (1)1.0 (0.4)1.0 (0.3)1.2 (0.7)1.3 (0.6)15/15
CMA-ESPLUSSEL auger 4.9 (5)57 (71)84 (94)5e40/15
Cauchy-EDA posik 13 (10)12 (3)2.4 (0.6)2.1 (0.8)2.7 (0.9)3.7 (1)8.6 (5)14/15
DASA korosec 275 (473)933 (1309)1634 (1385)5e60/15
DE-PSO garcia-nieto 2.6 (2)5.5 (7)2.2 (3)4.1 (4)1e40/15
DIRECT posik 1.4 (0.8)2.9 (3)1.9 (2)6.2 (7)6.5 (6)1e50/5
EDA-PSO el-abd 3.6 (2)41 (7)8.8 (1)6.4 (0.6)17 (27)41 (34)58 (50)7/15
FULLNEWUOA ros 10 (14)84 (94)90 (88)88 (78)5e40/15
G3PCX posik 136 (259)800 (1329)3e50/15
GA nicolau 22 (16)59 (14)34 (64)134 (198)5e50/15
GLOBAL pal 3.9 (2)15 (14)14 (12)26330/15
IPOP-SEP-CMA-ES ros 1.4 (1.0)5.0 (8)1.6 (1)1.0 (0.6)1.0 (0.5)1.00 (0.5)1.0 (0.4)15/15
LSfminbnd posik 64 (169)71 (78)5e40/15
LSstep posik 148 (256)395 (329)86 (88)5e40/15
MA-LS-CHAIN molina 2.5 (2)4.9 (1)1.3 (0.5)23 (45)88 (101)162 (212)143 (140)0/15
MCS huyer 19 (25)154 (151)5e40/15
NELDERDOERR doerr 4.3 (7)28 (34)43 (59)1e50/15
NELDER hansen 45 (44)228 (303)321 (323)5e50/15
NEWUOA ros 32 (28)1350 (1260)9e40/15
ONEFIFTH auger 3091 (7225)3.1e4 (4e4)5e60/15
POEMS kubalik 18 (7)24 (10)14 (2)71 (89)153 (189)304 (436)568 (652)1/15
PSO Bounds el-abd 3.8 (4)21 (12)69 (127)72 (192)118 (204)5e50/15
PSO el-abd 2.3 (2)6.6 (5)113 (126)253 (281)5e50/15
RANDOMSEARCH auger 18 (31)9.4e4 (1e5)5e60/15
Rosenbrock posik 3391 (2904)5e40/15
VNS garcia-martinez 2.3 (0.7)4.9 (13)3.6 (7)8.6 (16)26 (20)296 (291)1186 (1098)15/15
iAMALGAM bosman 1.1 (0.6)1.00 (0.2)1.4 (2)1.6 (2)1.9 (2)3.1 (3)4.8 (3)15/15

Δ fopt
f19, 5-D
1e1
1
1e0
1
1e-1
242
1e-2
1.0e5
1e-3
1.2e5
1e-5
1.2e5
1e-7
1.2e5
#succ
15/15
ALPS hornby 58 (58)5112 (3306)502 (358)15 (19)39 (41)40 (36)40 (28)10/15
AMALGAM bosman 38 (16)1148 (814)364 (532)4.5 (4)4.2 (3)4.2 (3)4.2 (3)15/15
BAYEDA gallagher 37 (32)2088 (1594)1e40/15
BFGS ros 1655 (1611)2.2e4 (2e4)1781 (1825)3e40/15
BIPOP-CMA-ES hansen 20 (16)2801 (5070)161 (175)1.00 (0.8)1.00 (0.7)1.0 (0.7)1.00 (0.7)15/15
CMA-ESPLUSSEL auger 20 (17)4113 (6170)972 (1291)5e40/15
Cauchy-EDA posik 296 (222)2.1e4 (3e4)3e50/15
DASA korosec 288 (358)6.7e4 (6e4)4.7e4 (6e4)5e60/15
DE-PSO garcia-nieto 93 (40)3140 (2138)1e40/15
DIRECT posik 1 (0)1 (0)1.1 (0.7)4.2 (4)3.7 (4)1e50/5
EDA-PSO el-abd 37 (28)6712 (4089)1636 (1801)71 (87)5e50/15
FULLNEWUOA ros 31 (18)1.1e4 (2e4)866 (1062)6.9 (6)5e40/15
G3PCX posik 39 (44)9.5e4 (1e5)1.4e4 (1e4)3e50/15
GA nicolau 35 (23)1.2e4 (7300)700 (490)68 (77)60 (46)5e50/15
GLOBAL pal 46 (44)7329 (7285)43110/15
IPOP-SEP-CMA-ES ros 22 (15)1931 (1130)162 (120)2.2 (3)3.0 (4)3.0 (3)3.0 (4)2/15
LSfminbnd posik 54 (57)2950 (3564)5e40/15
LSstep posik 914 (600)9487 (9241)1464 (1756)5e40/15
MA-LS-CHAIN molina 32 (34)1274 (866)249 (316)8.4 (9)1e50/15
MCS huyer 1 (0)1 (0)1.0 (0.4)5e40/15
NELDERDOERR doerr 12 (9)340 (262)107 (156)14 (11)1e50/15
NELDER hansen 12 (6)2885 (5138)591 (575)5e50/15
NEWUOA ros 14 (2)2.7e4 (2e4)1417 (2045)5e50/15
ONEFIFTH auger 104 (62)4.1e5 (2e5)2.9e5 (2e5)5e60/15
POEMS kubalik 1019 (653)7180 (4394)1.4e4 (1e4)5e50/15
PSO Bounds el-abd 27 (37)1.6e4 (2e4)2511 (2819)70 (56)5e50/15
PSO el-abd 35 (30)3381 (2858)2450 (2657)67 (66)60 (79)61 (47)61 (59)0/15
RANDOMSEARCH auger 38 (38)1.4e5 (1e5)5e60/15
Rosenbrock posik 1.3e4 (3e4)7.1e5 (6e5)5e40/15
VNS garcia-martinez 55 (62)7619 (4839)1310 (1551)20 (17)75 (85)134 (168)261 (218)12/15
iAMALGAM bosman 28 (24)1117 (648)373 (468)10 (13)12 (12)12 (12)12 (12)15/15

Δ fopt
f20, 5-D
1e1
16
1e0
851
1e-1
38111
1e-2
51362
1e-3
54470
1e-5
54861
1e-7
55313
#succ
14/15
ALPS hornby 18 (13)7.0 (3)1.3 (1)1.0 (0.8)1.0 (0.8)1.1 (0.7)1.3 (0.7)15/15
AMALGAM bosman 3.9 (2)29 (33)24 (36)18 (27)17 (26)17 (25)17 (25)15/15
BAYEDA gallagher 8.0 (12)1e40/15
BFGS ros 1.8 (0.8)2.5 (2)10 (8)7.6 (7)7.2 (8)7.1 (10)7.1 (6)1/15
BIPOP-CMA-ES hansen 3.3 (3)8.2 (10)2.8 (1)2.2 (0.9)2.1 (0.8)2.2 (0.8)2.2 (0.8)15/15
CMA-ESPLUSSEL auger 2.4 (2)6.4 (9)5.9 (5)4.4 (4)4.1 (4)4.1 (4)4.1 (4)3/15
Cauchy-EDA posik 48 (30)464 (766)3e50/15
DASA korosec 32 (16)13 (19)47 (46)35 (34)33 (32)33 (32)33 (32)14/15
DE-PSO garcia-nieto 8.6 (5)3.2 (0.6)1e40/15
DIRECT posik 3.8 (0.0)1.5 (6e-4)1e50/5
EDA-PSO el-abd 5.7 (4)13 (7)2.5 (7)2.0 (5)2.0 (5)2.3 (5)2.5 (5)13/15
FULLNEWUOA ros 1.4 (0)6.4 (5)3e40/15
G3PCX posik 7.4 (2)36 (34)88 (107)66 (117)62 (71)61 (39)61 (70)1/15
GA nicolau 47 (36)21 (4)1.00 (0.2)1.0 (0.2)1.3 (0.2)2.6 (0.4)5.0 (7)11/15
GLOBAL pal 17 (5)18 (31)22760/15
IPOP-SEP-CMA-ES ros 3.3 (2)6.6 (7)2.3 (2)1.7 (1)1.7 (1)1.7 (2)1.7 (2)7/15
LSfminbnd posik 8.2 (7)18 (22)5e40/15
LSstep posik 232 (125)41 (56)18 (14)14 (16)13 (11)13 (16)13 (15)1/15
MA-LS-CHAIN molina 5.8 (4)4.0 (5)1.4 (1)1.1 (0.8)1.0 (0.8)1.00 (0.8)1.0 (0.8)14/15
MCS huyer 2.7 (2)1.00 (2)9.1 (8)6.8 (8)6.4 (5)6.4 (7)6.3 (8)2/15
NELDERDOERR doerr 2.2 (2)8.5 (6)37 (26)28 (25)26 (29)26 (28)26 (19)1/15
NELDER hansen 1.5 (1)25 (28)5e50/15
NEWUOA ros 1 (0.2)3.3 (4)3e40/15
ONEFIFTH auger 4.0 (3)16 (19)43 (59)32 (44)30 (41)30 (41)30 (41)15/15
POEMS kubalik 78 (12)8.5 (4)14 (13)10 (14)10 (14)10 (14)10 (12)8/15
PSO Bounds el-abd 8.1 (6)8.6 (6)21 (24)16 (19)15 (25)15 (12)16 (18)6/15
PSO el-abd 8.7 (5)3.1 (1)27 (46)20 (27)19 (28)19 (23)18 (23)5/15
RANDOMSEARCH auger 29 (40)9230 (9730)5e60/15
Rosenbrock posik 2.9 (0.8)4.6 (6)5e40/15
VNS garcia-martinez 10 (3)7.8 (7)4.3 (4)3.9 (4)4.3 (6)4.6 (8)5.7 (9)15/15
iAMALGAM bosman 3.2 (2)30 (33)25 (18)19 (14)18 (13)18 (13)18 (13)15/15

Δ fopt
f21, 5-D
1e1
41
1e0
1157
1e-1
1674
1e-2
1692
1e-3
1705
1e-5
1729
1e-7
1757
#succ
14/15
ALPS hornby 3.4 (4)2.2 (1)2.9 (2)3.9 (1)4.7 (2)6.4 (2)8.1 (2)15/15
AMALGAM bosman 3.0 (3)37 (20)34 (51)35 (57)36 (62)38 (71)38 (71)15/15
BAYEDA gallagher 4.1 (4)8.5 (11)40 (44)85 (163)84 (98)83 (143)82 (135)1/15
BFGS ros 3.8 (5)1.4 (2)1.9 (3)1.9 (3)1.9 (3)1.9 (3)2.0 (3)15/15
BIPOP-CMA-ES hansen 2.3 (2)14 (9)24 (35)25 (36)25 (36)25 (36)25 (36)15/15
CMA-ESPLUSSEL auger 4.2 (10)4.6 (5)6.6 (9)6.6 (9)6.5 (9)6.5 (9)6.4 (9)15/15
Cauchy-EDA posik 20 (22)27 (26)192 (196)428 (679)424 (386)419 (534)413 (401)4/15
DASA korosec 10 (7)214 (185)321 (237)318 (235)316 (233)312 (230)308 (226)15/15
DE-PSO garcia-nieto 4.2 (4)5.5 (7)4.2 (6)4.7 (5)5.0 (5)6.2 (6)6.7 (7)8/15
DIRECT posik 1 (0.5)1.00 (1)1.1 (2)1.8 (2)2.1 (2)19 (31)19 (29)4/5
EDA-PSO el-abd 4.0 (4)161 (217)113 (151)114 (222)116 (293)120 (146)124 (145)11/15
FULLNEWUOA ros 2.4 (5)2.3 (4)2.8 (5)2.8 (5)2.8 (5)2.7 (5)2.7 (5)15/15
G3PCX posik 2.1 (1)4.7 (5)6.8 (7)6.7 (7)6.7 (7)6.6 (7)6.6 (6)15/15
GA nicolau 4.6 (5)5.5 (4)61 (151)68 (148)70 (148)139 (153)291 (287)8/15
GLOBAL pal 2.3 (2)1.1 (0.9)1.0 (0.8)1.0 (0.8)1.0 (0.8)1.00 (0.8)1.00 (0.8)14/15
IPOP-SEP-CMA-ES ros 3.6 (2)14 (23)10 (15)10 (15)10 (15)10 (15)10 (15)13/15
LSfminbnd posik 30 (39)38 (41)39 (57)45 (56)44 (48)44 (59)44 (39)8/15
LSstep posik 564 (1693)122 (217)123 (217)124 (147)125 (169)130 (138)134 (158)2/15
MA-LS-CHAIN molina 3.6 (3)22 (54)16 (37)16 (38)16 (37)16 (36)16 (36)13/15
MCS huyer 1.0 (0.9)3.9 (7)5.1 (6)5.1 (6)5.0 (6)5.0 (6)5.0 (6)14/15
NELDERDOERR doerr 2.9 (6)1.5 (2)1.2 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
NELDER hansen 12 (27)8.4 (8)10 (18)10 (17)10 (17)10 (17)10 (17)15/15
NEWUOA ros 1.1 (0.6)2.2 (3)1.8 (2)1.8 (2)1.8 (2)1.8 (2)1.9 (2)15/15
ONEFIFTH auger 45 (17)19 (23)18 (19)18 (19)18 (19)18 (19)18 (19)15/15
POEMS kubalik 34 (9)325 (434)291 (448)288 (166)288 (458)286 (341)285 (373)8/15
PSO Bounds el-abd 3.5 (4)380 (540)343 (448)341 (297)339 (514)337 (363)335 (430)7/15
PSO el-abd 2.0 (2)379 (540)262 (373)260 (443)258 (293)255 (362)252 (285)8/15
RANDOMSEARCH auger 3.2 (5)8.5 (12)272 (306)1.4e4 (1e4)5e60/15
Rosenbrock posik 10 (25)7.9 (8)15 (21)15 (19)15 (22)15 (23)15 (16)12/15
VNS garcia-martinez 2.4 (2)7.5 (9)6.5 (6)6.6 (6)6.9 (6)8.3 (6)9.1 (6)15/15
iAMALGAM bosman 2.2 (2)27 (32)22 (24)22 (24)22 (24)22 (24)22 (24)15/15

Δ fopt
f22, 5-D
1e1
71
1e0
386
1e-1
938
1e-2
980
1e-3
1008
1e-5
1040
1e-7
1068
#succ
14/15
ALPS hornby 6.6 (8)9.3 (3)8.8 (5)13 (6)17 (8)24 (9)33 (16)15/15
AMALGAM bosman 3.0 (2)19 (24)59 (97)69 (130)69 (131)68 (128)67 (125)15/15
BAYEDA gallagher 13 (2)75 (85)1e40/15
BFGS ros 3.1 (4)2.9 (3)2.1 (2)2.1 (2)2.0 (1)2.0 (1)2.6 (2)14/15
BIPOP-CMA-ES hansen 6.9 (11)20 (14)45 (94)43 (90)42 (88)41 (85)40 (83)15/15
CMA-ESPLUSSEL auger 2.8 (7)7.1 (9)4.7 (6)4.6 (6)4.5 (6)4.4 (5)4.4 (5)15/15
Cauchy-EDA posik 11 (9)281 (361)775 (734)1662 (1657)3474 (3906)3368 (2825)3280 (4389)1/15
DASA korosec 96 (147)269 (314)129 (131)128 (126)130 (124)140 (120)152 (122)15/15
DE-PSO garcia-nieto 6.5 (6)6.3 (5)7.5 (6)10 (11)11 (11)16 (14)32 (22)3/15
DIRECT posik 1 (0.6)1.0 (0.6)12 (11)19 (9)22 (13)128 (160)400 (468)1/5
EDA-PSO el-abd 6.7 (10)12 (7)89 (401)90 (258)92 (250)98 (240)104 (236)13/15
FULLNEWUOA ros 4.3 (6)3.7 (5)3.0 (6)2.9 (6)2.9 (6)3.0 (5)3.1 (5)15/15
G3PCX posik 12 (24)15 (25)13 (14)12 (13)12 (13)12 (13)12 (12)15/15
GA nicolau 6.0 (6)18 (12)387 (816)648 (659)1489 (1671)6832 (9052)5e50/15
GLOBAL pal 3.6 (2)1.3 (0.9)1.00 (1)1 (1.0)1.0 (0.9)1.0 (1)1.00 (1.0)14/15
IPOP-SEP-CMA-ES ros 7.5 (9)23 (29)60 (87)58 (64)57 (70)56 (74)55 (40)8/15
LSfminbnd posik 13 (27)47 (67)29 (40)60 (76)62 (76)122 (108)220 (139)2/15
LSstep posik 191 (362)178 (227)380 (498)5e40/15
MA-LS-CHAIN molina 3.3 (3)15 (3)22 (44)22 (42)22 (41)22 (40)22 (39)14/15
MCS huyer 1.0 (0.6)1.1 (1)12 (14)11 (13)11 (13)11 (13)15 (16)14/15
NELDERDOERR doerr 2.5 (6)2.5 (3)2.1 (4)2.0 (4)2.0 (4)2.0 (3)2.1 (3)15/15
NELDER hansen 19 (33)13 (25)13 (10)13 (10)13 (10)12 (9)12 (9)15/15
NEWUOA ros 2.1 (3)2.1 (2)2.0 (3)2.0 (3)2.1 (3)2.3 (3)2.4 (3)15/15
ONEFIFTH auger 21 (37)37 (48)30 (32)29 (30)29 (29)29 (28)30 (27)15/15
POEMS kubalik 468 (18)1059 (1280)1302 (1331)1248 (1397)1216 (1612)1183 (1079)1157 (1226)5/15
PSO Bounds el-abd 506 (3)869 (973)819 (1067)816 (766)814 (787)818 (726)815 (998)6/15
PSO el-abd 2.6 (2)326 (648)469 (667)450 (766)439 (499)429 (482)422 (589)8/15
RANDOMSEARCH auger 7.6 (11)74 (49)393 (512)7512 (6333)7.1e4 (8e4)5e60/15
Rosenbrock posik 19 (14)13 (10)10 (11)10 (11)10 (10)10 (10)11 (10)15/15
VNS garcia-martinez 5.8 (1)16 (15)18 (16)18 (15)18 (15)19 (15)20 (14)15/15
iAMALGAM bosman 1.8 (1)22 (28)40 (31)41 (41)41 (44)41 (44)40 (43)15/15

Δ fopt
f23, 5-D
1e1
3.0
1e0
518
1e-1
14249
1e-2
27890
1e-3
31654
1e-5
33030
1e-7
34256
#succ
15/15
ALPS hornby 2.3 (2)21 (9)28 (33)110 (139)2320 (2448)5e60/15
AMALGAM bosman 1.7 (2)7.0 (4)1.8 (3)1.00 (1)1.00 (1)1.0 (1)1 (1)15/15
BAYEDA gallagher 1.8 (2)62 (77)1e40/15
BFGS ros 11 (18)31 (34)2e40/15
BIPOP-CMA-ES hansen 1.7 (2)13 (15)3.7 (4)2.1 (2)1.8 (2)1.8 (2)1.8 (2)15/15
CMA-ESPLUSSEL auger 4.2 (5)3.3 (4)7.5 (10)26 (35)5e40/15
Cauchy-EDA posik 2.2 (3)234 (200)3e50/15
DASA korosec 9.0 (10)20 (32)362 (282)5e60/15
DE-PSO garcia-nieto 2.0 (2)66 (59)1e40/15
DIRECT posik 1.5 (2)3.5 (4)5.7 (7)3.7 (4)6.0 (5)1e50/5
EDA-PSO el-abd 2.4 (2)28 (29)