Overview page

Table showing the ERT in number of evaluations divided by the best ERT of the reference algorithm

Last dimension | Dimension = 2 | Next dimension

Δ fopt
f1, 2-D		 1e1
2.0		 1e0
6.0		 1e-1
6.0		 1e-2
6.0		 1e-3
6.0		 1e-5
6.0		 1e-7
6.0		 #succ
15/15
Adaptive-Two-Mode Bodner 75 (190)96 (140)163 (192)200 (204)230 (205)320 (224)369 (221)15/15
BFGS-scipy-2019 Varelas 5.0 (2)2.0 (0.3)2.1 (0.3)2.2 (0.3)2.2 (0.3)2.2 (0.3)2.2 (0.3)15/15
CG-scipy-2019 Varelas 4.1 (2)2.1 (1)2.5 (1)2.7 (0.7)2.8 (0.7)2.8 (0.7)2.8 (0.7)15/15
COBYLA-scipy-2019 Varelas 2.1 (2)1.2 (0.9)1.9 (0.8)2.5 (0.8)3.2 (0.9)4.4 (1)6.0 (1)15/15
DE-scipy-2019 Varelas 2.3 (2)3.9 (4)16 (6)26 (9)29 (6)30 (8)30 (8)15/15
GNN-CMA-ES Faury 4.0 (6)5.3 (5)10 (6)14 (6)20 (6)29 (8)39 (9)15/15
IPOP-CMA-ES-2019 Faury 2.8 (5)3.0 (2)8.0 (4)12 (8)16 (7)25 (7)37 (8)15/15
L-BFGS-B-scipy-2019 Varelas 2.6 (2)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)15/15
Nelder-Mead-scipy-2019 Varelas 5.8 (7)4.2 (4)5.3 (4)6.5 (5)7.9 (4)10 (4)13 (4)15/15
Powell-scipy-2019 Varelas 5.0 (4)2.0 (0.9)2.2 (0.8)2.6 (0.3)2.7 (0.3)2.7 (0.3)2.7 (0.3)15/15
RS-0p5-initIn0 Brockhoff 6.7e5 (5e5)9.2e5 (1e6)∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 6.7e5 (8e5)9.2e5 (8e5)∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 3.6e5 (5e5)6.7e5 (8e5)2.2e6 (3e6)4.7e6 (6e6)4.7e6 (4e6)4.7e6 (6e6)4.7e6 (5e6)0/15
RS-10-initIn0 Brockhoff 6.9 (14)23 (26)212 (246)1643 (2138)1.2e4 (1e4)1.5e6 (2e6)∞2e60/15
RS-10 Brockhoff 5.6 (5)23 (31)339 (253)2211 (2004)9240 (8805)1.2e6 (9e5)∞2e60/15
RS-1 Brockhoff 3.6e5 (5e5)6.7e5 (1e6)2.2e6 (2e6)4.7e6 (5e6)4.7e6 (4e6)4.7e6 (4e6)∞2e60/15
RS-2-initIn0 Brockhoff 2.0 (2)3.8e5 (5e5)6.7e5 (6e5)6.7e5 (1e6)6.7e5 (1e6)7.1e5 (7e5)∞2e60/15
RS-20-initIn0 Brockhoff 29 (65)106 (123)579 (515)6250 (1e4)4.9e4 (6e4)4.7e6 (5e6)∞2e60/15
RS-20 Brockhoff 16 (16)62 (61)934 (1322)9967 (7357)6.8e4 (8e4)∞∞2e60/15
RS-2 Brockhoff 6.0 (6)3.8e5 (7e5)6.7e5 (8e5)6.7e5 (8e5)6.7e5 (8e5)7.6e5 (1e6)∞2e60/15
RS-3-initIn0 Brockhoff 1.3 (1)2.4e4 (135)2.9e5 (3e5)3.8e5 (3e5)3.8e5 (5e5)6.0e5 (7e5)∞2e60/15
RS-3 Brockhoff 1.9 (4)2.4e4 (322)2.9e5 (4e5)3.8e5 (4e5)3.8e5 (5e5)1.4e6 (2e6)∞2e60/15
RS-4-initIn0 Brockhoff 2.3 (2)4.5 (5)22 (27)292 (428)2780 (2888)5.3e5 (5e5)4.7e6 (6e6)0/15
RS-5-initIn0 Brockhoff 2.3 (4)7.5 (12)45 (40)557 (719)5587 (8503)5.7e5 (8e5)∞2e60/15
RS-6-initIn0 Brockhoff 1.7 (2)11 (11)96 (120)666 (764)5788 (6912)1.1e6 (1e6)∞2e60/15
RS-6 Brockhoff 2.8 (3)8.7 (10)70 (55)448 (519)7081 (8289)5.4e5 (8e5)∞2e60/15
SLSQP-scipy-2019 Varelas 2.5 (2)1.2 (0)1.2 (0)1.2 (0)★21.2 (0)★41.2 (0)★41.2 (0)★415/15
TNC-scipy-2019 Varelas 7.0 (6)5.8 (4)8.6 (4)11 (4)13 (6)20 (8)29 (19)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 8.5 (8)4.6 (2)5.8 (2)7.1 (2)8.3 (2)11 (2)13 (2)15/15

Δ fopt
f2, 2-D		 1e1
16		 1e0
19		 1e-1
25		 1e-2
25		 1e-3
26		 1e-5
28		 1e-7
29		 #succ
15/15
Adaptive-Two-Mode Bodner 49 (76)88 (59)107 (144)136 (142)157 (145)267 (297)630 (444)15/15
BFGS-scipy-2019 Varelas 1.8 (0.6)1.9 (0.9)1.6 (0.7)1.8 (0.7)1.9 (0.6)2.1 (0.8)2.4 (0.9)15/15
CG-scipy-2019 Varelas 3.8 (3)7.2 (6)6.8 (6)10 (8)11 (6)18 (18)75 (59)15/15
COBYLA-scipy-2019 Varelas 1.6 (0.5)3.6 (3)6.3 (5)21 (28)112 (146)1.3e4 (1e4)1.0e5 (9e4)0/15
DE-scipy-2019 Varelas 14 (3)16 (5)15 (4)22 (13)64 (45)203 (172)225 (166)15/15
GNN-CMA-ES Faury 68 (119)145 (232)146 (243)167 (247)182 (249)188 (234)197 (225)14/15
IPOP-CMA-ES-2019 Faury 9.5 (5)11 (4)10 (3)11 (3)11 (2)13 (2)14 (2)15/15
L-BFGS-B-scipy-2019 Varelas 2.7 (2)3.9 (0.8)3.3 (0.8)3.6 (0.7)3.6 (0.5)3.7 (0.5)4.0 (0.7)15/15
Nelder-Mead-scipy-2019 Varelas 3.4 (1)3.5 (0.9)3.1 (0.6)3.5 (0.5)3.6 (0.6)3.9 (0.4)4.2 (0.5)15/15
Powell-scipy-2019 Varelas 1.6 (0.8)1.9 (0.6)1.5 (0.4)1.6 (0.4)1.7 (0.4)2.0 (0.5)2.2 (0.4)15/15
RS-0p5-initIn0 Brockhoff 5.0e5 (6e5)6.8e5 (9e5)∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 5.0e5 (8e5)6.8e5 (7e5)∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 2.5e5 (5e5)4.2e5 (6e5)5.3e5 (4e5)1.1e6 (1e6)1.1e6 (9e5)∞∞2e60/15
RS-10-initIn0 Brockhoff 742 (755)7699 (7700)5.5e4 (7e4)1.2e6 (2e6)∞∞∞2e60/15
RS-10 Brockhoff 871 (802)5774 (4451)4.8e4 (4e4)1.1e6 (2e6)∞∞∞2e60/15
RS-1 Brockhoff 2.5e5 (5e5)4.2e5 (7e5)5.2e5 (7e5)1.1e6 (1e6)1.1e6 (1e6)∞∞2e60/15
RS-2-initIn0 Brockhoff 1.4e5 (1e5)2.1e5 (2e5)1.6e5 (2e5)1.7e5 (2e5)3.3e5 (4e5)∞∞2e60/15
RS-20-initIn0 Brockhoff 1989 (2138)2.7e4 (3e4)1.9e5 (3e5)∞∞∞∞2e60/15
RS-20 Brockhoff 2960 (3205)1.6e4 (2e4)2.1e5 (4e5)1.2e6 (1e6)∞∞∞2e60/15
RS-2 Brockhoff 1.4e5 (3e5)2.1e5 (3e5)1.6e5 (3e5)1.9e5 (2e5)1.1e6 (1e6)∞∞2e60/15
RS-3-initIn0 Brockhoff 4.6e4 (9e4)4.1e4 (1e5)5.8e4 (8e4)1.1e5 (1e5)1.1e6 (1e6)∞∞2e60/15
RS-3 Brockhoff 4.6e4 (6e4)4.0e4 (5e4)5.6e4 (8e4)7.7e4 (9e4)1.1e6 (2e6)∞∞2e60/15
RS-4-initIn0 Brockhoff 187 (198)1179 (1338)8951 (2e4)1.2e5 (1e5)1.1e6 (8e5)∞∞2e60/15
RS-5-initIn0 Brockhoff 252 (204)2475 (2796)1.3e4 (8298)9.1e4 (1e5)1.1e6 (1e6)∞∞2e60/15
RS-6-initIn0 Brockhoff 214 (256)1982 (2847)2.1e4 (2e4)8.7e4 (1e5)3.5e5 (5e5)∞∞2e60/15
RS-6 Brockhoff 202 (255)2378 (2747)1.8e4 (2e4)1.0e5 (1e5)3.4e5 (5e5)∞∞2e60/15
SLSQP-scipy-2019 Varelas 1.6 (0.5)1.5 (0.4)1.3 (0.4)1.4 (0.5)1.6 (0.4)1.7 (0.4)1.8 (0.4)15/15
TNC-scipy-2019 Varelas 6.3 (3)8.8 (2)7.8 (3)9.3 (4)10 (3)12 (5)16 (7)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 2.5 (2)2.8 (1)2.6 (1)3.0 (1)3.3 (0.9)3.5 (0.8)3.9 (0.8)15/15

Δ fopt
f3, 2-D		 1e1
15		 1e0
271		 1e-1
445		 1e-2
446		 1e-3
450		 1e-5
454		 1e-7
464		 #succ
15/15
Adaptive-Two-Mode Bodner 53 (63)6.6 (4)6.3 (4)7.3 (6)7.7 (5)9.5 (5)11 (4)15/15
BFGS-scipy-2019 Varelas 18 (21)6.8 (6)17 (13)17 (13)17 (13)17 (13)16 (13)15/15
CG-scipy-2019 Varelas 24 (44)11 (19)20 (19)20 (19)19 (19)19 (19)19 (19)15/15
COBYLA-scipy-2019 Varelas 4.2 (7)1.7 (2)3.5 (3)3.6 (3)3.8 (3)9.1 (12)298 (262)0/15
DE-scipy-2019 Varelas 4.7 (3)1.6 (0.7)1.4 (1)1.5 (1)1.6 (1)1.6 (1)2.1 (1)15/15
GNN-CMA-ES Faury 3.1 (2)2.3 (3)7.3 (8)7.5 (8)7.7 (8)8.0 (8)8.2 (9)15/15
IPOP-CMA-ES-2019 Faury 6.0 (4)2.9 (3)6.6 (7)7.4 (8)7.6 (8)7.9 (8)8.1 (8)15/15
L-BFGS-B-scipy-2019 Varelas 10 (8)3.2 (4)12 (22)12 (22)12 (22)12 (22)12 (21)15/15
Nelder-Mead-scipy-2019 Varelas 14 (17)7.9 (10)25 (26)25 (26)25 (26)24 (25)203 (245)1/15
Powell-scipy-2019 Varelas 1.9 (1)0.93 (2)4.4 (6)4.4 (6)4.4 (6)4.4 (6)4.3 (6)15/15
RS-0p5-initIn0 Brockhoff 2.0e5 (3e5)1.0e5 (9e4)∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 2.0e5 (3e5)1.0e5 (9e4)∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 6.7e4 (1e5)4.8e4 (7e4)6.3e4 (8e4)6.3e4 (7e4)6.3e4 (6e4)∞∞2e60/15
RS-10-initIn0 Brockhoff 37 (44)213 (249)1889 (1204)9584 (9147)∞∞∞2e60/15
RS-10 Brockhoff 39 (37)286 (355)1311 (1349)1.5e4 (1e4)6.6e4 (5e4)∞∞2e60/15
RS-1 Brockhoff 6.7e4 (1e5)4.8e4 (6e4)6.3e4 (7e4)6.3e4 (5e4)6.2e4 (7e4)∞∞2e60/15
RS-2-initIn0 Brockhoff 3.4 (5)4409 (7528)1.2e4 (2e4)1.3e4 (1e4)3.2e4 (6e4)∞∞2e60/15
RS-20-initIn0 Brockhoff 54 (46)1023 (1141)8641 (1e4)6.4e4 (5e4)∞∞∞2e60/15
RS-20 Brockhoff 107 (88)542 (539)4792 (4022)∞∞∞∞2e60/15
RS-2 Brockhoff 7.9 (4)6025 (7717)1.2e4 (1e4)1.3e4 (2e4)6.4e4 (5e4)∞∞2e60/15
RS-3-initIn0 Brockhoff 4.9 (7)452 (96)1240 (3438)1810 (2653)1.5e4 (1e4)∞∞2e60/15
RS-3 Brockhoff 4.5 (6)248 (242)1366 (2309)2531 (3127)1.5e4 (2e4)∞∞2e60/15
RS-4-initIn0 Brockhoff 5.0 (6)35 (35)316 (340)1679 (1706)6.3e4 (6e4)∞∞2e60/15
RS-5-initIn0 Brockhoff 9.2 (12)82 (95)493 (797)3060 (2884)3.1e4 (5e4)∞∞2e60/15
RS-6-initIn0 Brockhoff 6.5 (7)77 (69)1220 (1126)4910 (6272)6.6e4 (6e4)∞∞2e60/15
RS-6 Brockhoff 7.3 (9)81 (84)919 (853)8230 (1e4)6.7e4 (7e4)∞∞2e60/15
SLSQP-scipy-2019 Varelas 11 (9)2.8 (3)8.5 (10)8.5 (10)8.4 (10)8.3 (10)8.2 (10)15/15
TNC-scipy-2019 Varelas 52 (75)17 (14)68 (85)68 (85)68 (84)67 (84)66 (82)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 24 (22)11 (12)25 (29)25 (29)25 (29)25 (29)187 (169)0/15

Δ fopt
f4, 2-D		 1e1
22		 1e0
344		 1e-1
459		 1e-2
496		 1e-3
523		 1e-5
544		 1e-7
566		 #succ
15/15
Adaptive-Two-Mode Bodner 18 (30)5.5 (5)10 (15)10 (14)10 (13)11 (13)12 (12)15/15
BFGS-scipy-2019 Varelas 18 (19)12 (13)27 (35)25 (32)23 (30)23 (29)22 (28)15/15
CG-scipy-2019 Varelas 35 (46)21 (24)55 (60)51 (56)49 (53)47 (51)45 (49)15/15
COBYLA-scipy-2019 Varelas 1.3 (2)1.2 (1)5.4 (5)5.0 (5)4.8 (5)5.7 (6)895 (870)0/15
DE-scipy-2019 Varelas 4.6 (3)1.2 (0.4)1.6 (0.9)1.6 (0.7)1.7 (0.8)1.8 (1.0)3.3 (3)15/15
GNN-CMA-ES Faury 1.9 (1)5.2 (5)37 (45)55 (61)52 (60)51 (69)50 (52)7/15
IPOP-CMA-ES-2019 Faury 1.9 (1)5.7 (5)95 (156)89 (102)85 (97)83 (65)80 (73)5/15
L-BFGS-B-scipy-2019 Varelas 11 (8)4.7 (6)14 (14)13 (13)12 (12)12 (12)12 (12)15/15
Nelder-Mead-scipy-2019 Varelas 14 (22)3.0 (3)15 (15)14 (14)13 (13)13 (13)468 (451)1/15
Powell-scipy-2019 Varelas 3.3 (0.3)0.55 (1)0.59 (0.9)★0.56 (0.8)★20.56 (0.8)★20.56 (0.7)★20.56 (0.7)★215/15
RS-0p5-initIn0 Brockhoff 1.4e5 (1e5)8.1e4 (6e4)∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 1.4e5 (2e5)8.1e4 (7e4)∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 4.6e4 (7e4)3.8e4 (5e4)6.1e4 (8e4)5.6e4 (5e4)5.7e4 (5e4)∞∞2e60/15
RS-10-initIn0 Brockhoff 34 (30)449 (277)3807 (3590)2.7e4 (3e4)5.4e4 (8e4)∞∞2e60/15
RS-10 Brockhoff 32 (38)444 (504)2274 (2523)6.0e4 (6e4)∞∞∞2e60/15
RS-1 Brockhoff 4.6e4 (1e5)3.8e4 (6e4)6.1e4 (9e4)5.7e4 (5e4)∞∞∞2e60/15
RS-2-initIn0 Brockhoff 3.3 (4)3833 (4893)1.2e4 (1e4)1.2e4 (2e4)5.6e4 (4e4)∞∞2e60/15
RS-20-initIn0 Brockhoff 137 (123)1540 (2032)1.1e4 (1e4)∞∞∞∞2e60/15
RS-20 Brockhoff 137 (119)1329 (1337)1.9e4 (2e4)5.8e4 (6e4)5.5e4 (7e4)∞∞2e60/15
RS-2 Brockhoff 6.7 (3)3760 (4744)1.2e4 (2e4)1.7e4 (2e4)∞∞∞2e60/15
RS-3-initIn0 Brockhoff 5.0 (4)935 (2925)1286 (2334)3051 (2328)5.4e4 (5e4)∞∞2e60/15
RS-3 Brockhoff 5.7 (8)277 (376)1371 (2219)3942 (3991)2.5e4 (3e4)∞∞2e60/15
RS-4-initIn0 Brockhoff 7.7 (7)67 (61)395 (729)2712 (2437)5.4e4 (6e4)∞∞2e60/15
RS-5-initIn0 Brockhoff 6.0 (6)111 (123)642 (577)4370 (7041)5.5e4 (9e4)∞∞2e60/15
RS-6-initIn0 Brockhoff 11 (12)155 (165)1178 (1082)1.3e4 (2e4)∞∞∞2e60/15
RS-6 Brockhoff 9.3 (8)128 (225)954 (1068)7203 (4881)∞∞∞2e60/15
SLSQP-scipy-2019 Varelas 11 (14)4.8 (6)20 (22)18 (21)17 (20)17 (19)16 (18)15/15
TNC-scipy-2019 Varelas 36 (33)24 (20)72 (66)67 (61)63 (58)61 (56)59 (54)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 16 (14)4.9 (4)18 (14)17 (13)16 (12)17 (12)647 (925)0/15

Δ fopt
f5, 2-D		 1e1
4.0		 1e0
4.0		 1e-1
4.0		 1e-2
4.0		 1e-3
4.0		 1e-5
4.0		 1e-7
4.0		 #succ
15/15
Adaptive-Two-Mode Bodner 35 (38)136 (84)136 (84)136 (84)136 (84)136 (84)136 (84)15/15
BFGS-scipy-2019 Varelas 2.6 (1)4.8 (2)5.2 (1)5.2 (1)5.2 (1)5.2 (1)5.2 (1)15/15
CG-scipy-2019 Varelas 2.9 (0.5)4.4 (1)4.9 (1)4.9 (1)4.9 (1)4.9 (1)4.9 (1)15/15
COBYLA-scipy-2019 Varelas 2.0 (0.8)3.1 (1)3.5 (1)3.5 (1)3.5 (1)3.5 (1)3.5 (1)15/15
DE-scipy-2019 Varelas 3.1 (2)44 (17)86 (41)115 (72)129 (97)130 (97)130 (97)15/15
GNN-CMA-ES Faury 4.1 (4)6.2 (4)6.6 (4)6.7 (5)6.7 (5)6.7 (5)6.7 (5)15/15
IPOP-CMA-ES-2019 Faury 3.1 (3)6.5 (4)7.0 (4)7.0 (4)7.0 (4)7.0 (4)7.0 (4)15/15
L-BFGS-B-scipy-2019 Varelas 2.2 (0.4)4.0 (0.8)4.0 (0.8)4.0 (0.8)4.0 (0.8)4.0 (0.8)4.0 (0.8)15/15
Nelder-Mead-scipy-2019 Varelas 4.6 (2)6.6 (4)6.7 (4)6.7 (4)6.7 (4)6.7 (4)6.7 (4)15/15
Powell-scipy-2019 Varelas 5.1 (0.5)5.2 (0.5)5.2 (0.5)5.2 (0.5)5.2 (0.5)5.2 (0.5)5.2 (0.5)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-10-initIn0 Brockhoff 1.3 (0.9)3.1 (3)3.1 (3)3.1 (3)3.1 (3)3.1 (3)3.1 (3)15/15
RS-10 Brockhoff 1.1 (2)3.0 (2)3.6 (3)3.6 (3)3.6 (3)3.6 (3)3.6 (3)15/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-20-initIn0 Brockhoff 0.92 (0.8)1.5 (2)1.5 (2)1.5 (2)1.5 (2)1.5 (2)1.5 (2)15/15
RS-20 Brockhoff 1.4 (1)2.1 (2)2.1 (2)2.1 (2)2.1 (2)2.1 (2)2.1 (2)15/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-5-initIn0 Brockhoff 3.6 (5)334 (277)4.0e4 (4e4)7.4e6 (7e6)∞∞∞2e60/15
RS-6-initIn0 Brockhoff 2.7 (3)26 (33)39 (41)44 (49)44 (49)44 (49)44 (49)15/15
RS-6 Brockhoff 1.3 (1)16 (20)29 (30)29 (30)29 (30)29 (30)29 (30)15/15
SLSQP-scipy-2019 Varelas 1.5 (0)3.5 (1)3.7 (1)3.8 (0.5)3.8 (0.5)3.8 (0.5)3.8 (0.5)15/15
TNC-scipy-2019 Varelas 3.2 (1)5.6 (2)5.6 (2)5.6 (2)5.6 (2)5.6 (2)5.6 (2)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 5.2 (2)7.5 (4)7.7 (4)7.7 (4)7.7 (4)7.7 (4)7.7 (4)15/15

Δ fopt
f6, 2-D		 1e1
13		 1e0
23		 1e-1
41		 1e-2
54		 1e-3
67		 1e-5
95		 1e-7
124		 #succ
15/15
Adaptive-Two-Mode Bodner 36 (41)45 (54)36 (29)36 (24)35 (24)38 (19)36 (21)15/15
BFGS-scipy-2019 Varelas 4.0 (4)3.9 (3)3.1 (2)3.4 (2)3.1 (2)2.9 (1)2.8 (1)15/15
CG-scipy-2019 Varelas 6.3 (7)7.9 (6)6.6 (2)6.4 (3)6.8 (2)6.1 (2)14 (22)15/15
COBYLA-scipy-2019 Varelas 39 (22)214 (369)240 (548)579 (987)682 (1064)1632 (1866)1.1e4 (1e4)1/15
DE-scipy-2019 Varelas 2.4 (3)5.8 (5)7.5 (2)8.4 (3)8.5 (2)8.6 (4)20 (12)15/15
GNN-CMA-ES Faury 2.4 (3)3.1 (2)3.3 (1)3.5 (1)3.4 (1.0)3.5 (0.6)3.6 (0.8)15/15
IPOP-CMA-ES-2019 Faury 2.3 (3)3.4 (2)3.0 (1.0)3.1 (1)3.2 (1.0)3.5 (1.0)3.7 (0.7)15/15
L-BFGS-B-scipy-2019 Varelas 4.5 (5)4.9 (4)3.7 (2)3.2 (2)3.1 (2)2.9 (2)2.7 (1)15/15
Nelder-Mead-scipy-2019 Varelas 1.7 (1)1.8 (1)1.3 (0.6)1.2 (0.4)1.3 (0.4)1.2 (0.3)1.5 (0.8)15/15
Powell-scipy-2019 Varelas 3.5 (4)3.3 (4)2.8 (2)2.6 (2)2.5 (1)2.2 (1)2.6 (1)15/15
RS-0p5-initIn0 Brockhoff 2.2e6 (2e6)∞∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 2.2e6 (2e6)∞∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 4.2e5 (7e5)1.2e6 (1e6)6.8e5 (1e6)5.2e5 (5e5)4.2e5 (4e5)3.0e5 (4e5)∞2e60/15
RS-10-initIn0 Brockhoff 7.8 (11)70 (98)683 (689)6097 (7407)3.0e4 (2e4)∞∞2e60/15
RS-10 Brockhoff 6.6 (6)52 (60)502 (530)5402 (6296)2.5e4 (2e4)∞∞2e60/15
RS-1 Brockhoff 4.2e5 (6e5)1.2e6 (2e6)6.8e5 (9e5)5.2e5 (5e5)4.2e5 (6e5)∞∞2e60/15
RS-2-initIn0 Brockhoff 7.7e4 (2e5)2.4e5 (3e5)2.0e5 (2e5)1.5e5 (1e5)1.2e5 (1e5)∞∞2e60/15
RS-20-initIn0 Brockhoff 39 (34)239 (186)1280 (1208)2.1e4 (2e4)4.3e5 (4e5)∞∞2e60/15
RS-20 Brockhoff 41 (42)294 (260)1355 (853)1.4e4 (2e4)1.3e5 (2e5)∞∞2e60/15
RS-2 Brockhoff 7.7e4 (8e4)2.4e5 (5e5)2.0e5 (2e5)1.5e5 (2e5)1.2e5 (2e5)∞∞2e60/15
RS-3-initIn0 Brockhoff 1.1e4 (412)5.8e4 (9e4)9.8e4 (1e5)7.5e4 (9e4)6.3e4 (8e4)3.0e5 (4e5)∞2e60/15
RS-3 Brockhoff 1.1e4 (74)5.8e4 (9e4)9.8e4 (1e5)7.4e4 (1e5)6.3e4 (7e4)∞∞2e60/15
RS-4-initIn0 Brockhoff 2.8 (3)10 (10)72 (82)742 (905)6473 (5851)∞∞2e60/15
RS-5-initIn0 Brockhoff 3.2 (3)12 (9)100 (150)1159 (1438)1.1e4 (2e4)∞∞2e60/15
RS-6-initIn0 Brockhoff 4.7 (5)29 (39)153 (105)1031 (1024)1.4e4 (1e4)∞∞2e60/15
RS-6 Brockhoff 2.4 (2)24 (26)114 (119)2158 (2107)1.7e4 (2e4)∞∞2e60/15
SLSQP-scipy-2019 Varelas 3.4 (3)2.9 (2)2.0 (2)1.7 (1)1.7 (1)1.5 (0.8)1.4 (0.7)15/15
TNC-scipy-2019 Varelas 5.6 (6)6.5 (4)5.0 (4)4.8 (4)4.4 (3)5.9 (4)12 (10)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 2.1 (2)2.0 (2)1.6 (0.7)1.4 (0.4)1.3 (0.4)1.4 (0.7)2.0 (1)15/15

Δ fopt
f7, 2-D		 1e1
3.0		 1e0
21		 1e-1
60		 1e-2
193		 1e-3
217		 1e-5
217		 1e-7
241		 #succ
15/15
Adaptive-Two-Mode Bodner 54 (41)25 (39)18 (20)7.3 (7)8.0 (7)8.0 (7)8.7 (8)15/15
BFGS-scipy-2019 Varelas 26 (35)24 (33)75 (114)156 (125)450 (488)450 (690)2137 (2032)2/15
CG-scipy-2019 Varelas 18 (17)15 (21)91 (138)138 (166)372 (440)372 (440)725 (767)8/15
COBYLA-scipy-2019 Varelas 2.5 (1)3.4 (5)6.8 (13)5.7 (8)8.4 (11)8.4 (11)7.6 (10)15/15
DE-scipy-2019 Varelas 3.5 (3)2.5 (2)3.3 (2)2.7 (2)5.0 (5)5.0 (5)18 (22)14/15
GNN-CMA-ES Faury 4.6 (7)2.6 (3)2.1 (2)0.80 (0.5)0.79 (0.6)0.79 (0.6)0.92 (0.7)15/15
IPOP-CMA-ES-2019 Faury 3.6 (5)2.3 (2)2.4 (2)0.82 (0.7)0.84 (0.5)0.84 (0.5)0.92 (0.5)15/15
L-BFGS-B-scipy-2019 Varelas 13 (16)18 (18)66 (96)146 (129)467 (556)467 (512)1360 (1464)3/15
Nelder-Mead-scipy-2019 Varelas 95 (98)39 (51)134 (290)88 (117)160 (276)160 (276)144 (248)15/15
Powell-scipy-2019 Varelas 12 (4)8.1 (12)8.8 (12)8.7 (14)15 (15)15 (15)14 (14)15/15
RS-0p5-initIn0 Brockhoff 1.0e6 (1e6)3.8e5 (5e5)2.2e5 (2e5)1.5e5 (2e5)1.3e5 (2e5)1.3e5 (1e5)1.2e5 (2e5)0/15
RS-0p5 Brockhoff 1.0e6 (1e6)3.8e5 (4e5)2.2e5 (2e5)1.5e5 (9e4)1.3e5 (2e5)1.3e5 (1e5)1.2e5 (1e5)0/15
RS-1-initIn0 Brockhoff 5.8e5 (1e6)1.9e5 (2e5)1.3e5 (1e5)4.1e4 (6e4)3.7e4 (4e4)3.7e4 (3e4)3.3e4 (4e4)3/15
RS-10-initIn0 Brockhoff 11 (14)18 (14)92 (107)162 (181)631 (711)631 (711)1910 (2228)1/15
RS-10 Brockhoff 18 (16)30 (32)107 (87)224 (299)544 (595)544 (595)4032 (4264)3/15
RS-1 Brockhoff 5.8e5 (7e5)1.9e5 (3e5)1.3e5 (2e5)4.1e4 (4e4)3.7e4 (6e4)3.7e4 (4e4)3.3e4 (3e4)3/15
RS-2-initIn0 Brockhoff 4.8e4 (229)2.4e4 (5e4)2.2e4 (4e4)1.2e4 (1e4)1.4e4 (2e4)1.4e4 (2e4)1.3e4 (2e4)6/15
RS-20-initIn0 Brockhoff 42 (53)48 (40)265 (290)604 (664)2814 (2476)2814 (2476)1.8e4 (1e4)0/15
RS-20 Brockhoff 107 (110)104 (85)278 (370)887 (1325)1748 (1747)1748 (1747)1.2e4 (8094)2/15
RS-2 Brockhoff 4.8e4 (11)2.4e4 (5e4)2.3e4 (4e4)1.2e4 (1e4)1.4e4 (2e4)1.4e4 (2e4)1.3e4 (2e4)6/15
RS-3-initIn0 Brockhoff 5.1 (3)6825 (138)1.2e4 (2e4)5221 (1e4)4706 (9225)4706 (6962)4344 (6258)9/15
RS-3 Brockhoff 7.7 (7)6818 (92)1.2e4 (3e4)5190 (7776)4648 (9243)4648 (1e4)4396 (4199)10/15
RS-4-initIn0 Brockhoff 2.4 (3)3.2 (4)21 (26)53 (80)100 (110)100 (110)319 (276)11/15
RS-5-initIn0 Brockhoff 3.0 (4)5.0 (6)18 (15)34 (30)102 (120)102 (120)667 (582)11/15
RS-6-initIn0 Brockhoff 4.0 (5)10 (12)42 (33)69 (64)174 (165)174 (165)1367 (904)11/15
RS-6 Brockhoff 6.4 (6)8.4 (10)32 (50)79 (60)244 (202)244 (202)1767 (1510)9/15
SLSQP-scipy-2019 Varelas 15 (18)18 (16)72 (86)297 (294)577 (555)577 (470)520 (536)13/15
TNC-scipy-2019 Varelas 33 (33)49 (48)130 (166)233 (198)632 (834)632 (872)1057 (1170)8/15
adapt-Nelder-Mead-scipy-2019 Varelas 147 (199)64 (65)73 (64)65 (81)141 (237)141 (237)127 (214)15/15

Δ fopt
f8, 2-D		 1e1
5.0		 1e0
12		 1e-1
37		 1e-2
46		 1e-3
86		 1e-5
94		 1e-7
112		 #succ
15/15
Adaptive-Two-Mode Bodner 16 (23)29 (36)37 (33)54 (42)46 (58)60 (56)76 (49)15/15
BFGS-scipy-2019 Varelas 10 (14)9.1 (10)4.2 (3)3.8 (3)2.2 (1)2.1 (1)1.8 (1)15/15
CG-scipy-2019 Varelas 5.1 (5)7.0 (7)3.8 (3)3.8 (2)2.2 (1)2.3 (0.9)2.1 (0.9)15/15
COBYLA-scipy-2019 Varelas 1.9 (0.6)484 (908)356 (615)485 (569)4386 (4335)∞∞2e50/15
DE-scipy-2019 Varelas 6.3 (7)11 (9)6.4 (3)8.4 (2)4.9 (1)5.0 (1)4.8 (2)15/15
GNN-CMA-ES Faury 3.3 (4)3.1 (3)2.8 (2)4.3 (2)2.7 (1)3.1 (1)3.2 (0.9)15/15
IPOP-CMA-ES-2019 Faury 4.1 (4)7.0 (5)7.9 (4)8.0 (3)4.8 (1)5.0 (1)4.8 (1)15/15
L-BFGS-B-scipy-2019 Varelas 3.1 (1)3.8 (4)2.1 (1)2.1 (0.9)1.2 (0.5)1.2 (0.4)1.0 (0.4)15/15
Nelder-Mead-scipy-2019 Varelas 4.5 (2)5.0 (4)2.5 (2)2.5 (1)1.4 (0.7)1.5 (0.6)1.4 (0.5)15/15
Powell-scipy-2019 Varelas 3.4 (1)7.2 (13)6.9 (6)7.5 (4)4.3 (2)4.3 (2)3.8 (2)15/15
RS-0p5-initIn0 Brockhoff 8.0e5 (8e5)6.7e5 (8e5)2.2e5 (2e5)6.1e5 (6e5)3.3e5 (3e5)3.0e5 (2e5)∞2e60/15
RS-0p5 Brockhoff 8.0e5 (1e6)6.7e5 (8e5)2.2e5 (2e5)6.1e5 (8e5)3.3e5 (5e5)3.0e5 (3e5)∞2e60/15
RS-1-initIn0 Brockhoff 2.0e5 (4e5)2.5e5 (5e5)1.1e5 (1e5)1.7e5 (3e5)1.5e5 (2e5)1.5e5 (2e5)∞2e60/15
RS-10-initIn0 Brockhoff 28 (41)145 (158)284 (308)2268 (3717)1.6e4 (2e4)3.0e5 (3e5)∞2e60/15
RS-10 Brockhoff 27 (20)120 (98)320 (424)3647 (3819)1.7e4 (2e4)3.0e5 (4e5)∞2e60/15
RS-1 Brockhoff 2.0e5 (2e5)2.5e5 (4e5)1.1e5 (9e4)1.7e5 (2e5)1.5e5 (1e5)1.5e5 (1e5)∞2e60/15
RS-2-initIn0 Brockhoff 2.9e4 (10)2.6e4 (1e5)2.0e4 (4e4)3.8e4 (4e4)2.1e4 (2e4)9.6e4 (9e4)∞2e60/15
RS-20-initIn0 Brockhoff 98 (101)386 (402)900 (998)9913 (9578)7.5e4 (1e5)∞∞2e60/15
RS-20 Brockhoff 71 (84)351 (422)1139 (1745)7891 (4631)3.6e4 (3e4)∞∞2e60/15
RS-2 Brockhoff 2.9e4 (5)2.6e4 (8e4)2.0e4 (4e4)3.8e4 (4e4)2.1e4 (4e4)1.4e5 (1e5)∞2e60/15
RS-3-initIn0 Brockhoff 3.3 (4)13 (17)35 (34)228 (291)774 (555)1.5e5 (2e5)∞2e60/15
RS-3 Brockhoff 5.3 (6)11 (12)32 (41)270 (199)1630 (1797)1.5e5 (2e5)∞2e60/15
RS-4-initIn0 Brockhoff 3.8 (4)18 (17)79 (133)416 (545)2453 (2568)3.1e5 (3e5)∞2e60/15
RS-5-initIn0 Brockhoff 7.8 (8)28 (26)47 (38)734 (654)3957 (3733)9.4e4 (8e4)∞2e60/15
RS-6-initIn0 Brockhoff 9.2 (11)20 (22)102 (103)1329 (1134)5287 (7158)∞∞2e60/15
RS-6 Brockhoff 13 (10)45 (48)121 (123)1209 (1567)8354 (1e4)∞∞2e60/15
SLSQP-scipy-2019 Varelas 4.3 (1)4.8 (4)2.4 (2)2.4 (1)1.4 (0.7)1.4 (0.6)1.2 (0.5)15/15
TNC-scipy-2019 Varelas 5.0 (4)8.0 (8)6.6 (5)6.8 (4)4.3 (3)4.5 (3)4.6 (3)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.1 (3)3.9 (4)2.1 (2)2.1 (1)1.2 (0.8)1.3 (0.7)1.2 (0.6)15/15

Δ fopt
f9, 2-D		 1e1
1		 1e0
18		 1e-1
30		 1e-2
44		 1e-3
68		 1e-5
81		 1e-7
92		 #succ
15/15
Adaptive-Two-Mode Bodner 1 (0)2.3 (2)11 (11)29 (37)33 (30)50 (39)71 (41)15/15
BFGS-scipy-2019 Varelas 38 (52)5.4 (5)4.7 (3)3.7 (2)2.6 (1)2.3 (1)2.1 (0.9)15/15
CG-scipy-2019 Varelas 20 (12)4.9 (4)4.7 (3)3.9 (2)2.8 (1)2.6 (1)2.5 (1.0)15/15
COBYLA-scipy-2019 Varelas 8.9 (4)34 (24)33 (25)59 (38)8104 (4792)1.2e4 (1e4)∞2e50/15
DE-scipy-2019 Varelas 36 (28)5.5 (3)7.4 (3)8.0 (3)6.2 (1)5.9 (1)5.2 (1)15/15
GNN-CMA-ES Faury 1 (0)2.8 (2)4.3 (4)5.0 (3)4.0 (2)4.2 (2)4.3 (2)15/15
IPOP-CMA-ES-2019 Faury 1 (0)3.5 (1)7.7 (6)7.5 (4)5.4 (3)5.5 (2)5.5 (2)15/15
L-BFGS-B-scipy-2019 Varelas 16 (4)2.6 (2)2.7 (1)2.3 (0.8)1.6 (0.5)1.4 (0.4)1.3 (0.3)15/15
Nelder-Mead-scipy-2019 Varelas 17 (12)2.6 (2)2.7 (1)2.2 (0.9)1.5 (0.6)1.5 (0.5)1.5 (0.4)15/15
Powell-scipy-2019 Varelas 34 (25)11 (18)11 (13)10 (9)6.6 (6)6.0 (5)5.5 (4)15/15
RS-0p5-initIn0 Brockhoff 1 (0)0.67 (0.5)3.2 (3)1.7e4 (2e4)4.1e5 (5e5)∞∞2e60/15
RS-0p5 Brockhoff 1.9 (2)0.48 (0.3)↑05.2 (4)1.4e4 (2e4)4.1e5 (3e5)∞∞2e60/15
RS-1-initIn0 Brockhoff 1 (0)1.6 (2)6.4 (5)34 (28)145 (187)9018 (9192)∞2e60/15
RS-10-initIn0 Brockhoff 1 (0)63 (78)374 (423)2952 (2494)2.1e4 (3e4)∞∞2e60/15
RS-10 Brockhoff 166 (195)70 (99)377 (494)2445 (1965)1.4e4 (1e4)∞∞2e60/15
RS-1 Brockhoff 3.9 (4)1.2 (1.0)6.1 (5)25 (48)147 (169)2.9e4 (3e4)3.2e5 (3e5)0/15
RS-2-initIn0 Brockhoff 1 (0)3.6 (3)15 (17)174 (169)858 (734)4.7e4 (3e4)∞2e60/15
RS-20-initIn0 Brockhoff 1 (0)297 (427)1881 (2164)1.6e4 (2e4)7.1e4 (6e4)∞∞2e60/15
RS-20 Brockhoff 451 (336)359 (321)1713 (2234)8623 (7332)1.3e5 (3e5)∞∞2e60/15
RS-2 Brockhoff 11 (14)3.0 (3)12 (13)103 (123)824 (874)4.8e4 (3e4)∞2e60/15
RS-3-initIn0 Brockhoff 1 (0)5.0 (7)33 (43)282 (273)1621 (1316)1.2e5 (1e5)∞2e60/15
RS-3 Brockhoff 15 (17)6.3 (6)36 (50)286 (258)2107 (2060)∞∞2e60/15
RS-4-initIn0 Brockhoff 1 (0)8.5 (7)57 (54)386 (438)2553 (2463)1.8e5 (2e5)∞2e60/15
RS-5-initIn0 Brockhoff 1 (0)15 (18)53 (61)401 (417)4605 (5006)1.1e5 (1e5)∞2e60/15
RS-6-initIn0 Brockhoff 1 (0)27 (29)114 (156)832 (1394)5602 (7100)∞∞2e60/15
RS-6 Brockhoff 61 (48)28 (31)132 (102)921 (960)6546 (8391)∞∞2e60/15
SLSQP-scipy-2019 Varelas 17 (8)2.1 (1)2.4 (1)2.1 (0.9)1.5 (0.6)1.4 (0.5)1.3 (0.4)15/15
TNC-scipy-2019 Varelas 24 (12)5.7 (7)7.1 (7)6.1 (6)4.6 (4)4.5 (4)6.4 (5)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 21 (6)3.4 (3)3.3 (2)2.6 (2)1.8 (0.9)1.7 (0.8)1.7 (0.7)15/15

Δ fopt
f10, 2-D		 1e1
30		 1e0
46		 1e-1
54		 1e-2
61		 1e-3
68		 1e-5
82		 1e-7
98		 #succ
15/15
Adaptive-Two-Mode Bodner 371 (930)452 (1055)441 (971)435 (866)428 (805)537 (668)634 (496)15/15
BFGS-scipy-2019 Varelas 1.0 (0.6)0.86 (0.5)0.87 (0.5)0.87 (0.6)1.2 (0.6)3.9 (6)15 (21)15/15
CG-scipy-2019 Varelas 2.9 (2)3.8 (3)4.2 (3)4.0 (3)5.1 (3)19 (23)150 (220)14/15
COBYLA-scipy-2019 Varelas 1.8 (2)3.8 (4)16 (10)70 (126)235 (257)1.6e4 (2e4)∞2e50/15
DE-scipy-2019 Varelas 9.0 (4)8.9 (3)10 (3)11 (3)25 (16)40 (23)305 (326)12/15
GNN-CMA-ES Faury 21 (23)28 (53)29 (46)29 (41)27 (37)23 (31)20 (26)15/15
IPOP-CMA-ES-2019 Faury 4.4 (3)4.1 (2)4.6 (1)4.4 (1)4.4 (1)4.5 (0.7)4.3 (0.7)15/15
L-BFGS-B-scipy-2019 Varelas 1 (0.8)1.3 (0.7)1.5 (0.5)1.5 (0.3)1.4 (0.3)1.6 (0.9)7.6 (4)15/15
Nelder-Mead-scipy-2019 Varelas 1.7 (0.9)1.5 (0.5)1.5 (0.3)1.5 (0.2)1.4 (0.2)1.4 (0.2)1.3 (0.2)15/15
Powell-scipy-2019 Varelas 4.6 (4)3.7 (3)3.5 (2)3.2 (2)2.9 (2)2.6 (1)2.3 (1)15/15
RS-0p5-initIn0 Brockhoff 2.7e5 (3e5)6.1e5 (6e5)∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 2.7e5 (2e5)6.1e5 (7e5)∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 1.3e5 (2e5)1.7e5 (3e5)1.5e5 (2e5)1.3e5 (1e5)1.3e5 (1e5)∞∞2e60/15
RS-10-initIn0 Brockhoff 307 (383)3911 (2596)2.8e4 (2e4)2.4e5 (2e5)∞∞∞2e60/15
RS-10 Brockhoff 337 (394)3109 (2961)2.5e4 (2e4)4.7e5 (6e5)∞∞∞2e60/15
RS-1 Brockhoff 1.3e5 (1e5)1.7e5 (2e5)1.5e5 (2e5)1.3e5 (1e5)1.3e5 (1e5)∞∞2e60/15
RS-2-initIn0 Brockhoff 2.4e4 (5e4)5.5e4 (8e4)1.0e5 (2e5)9.5e4 (1e5)4.4e5 (5e5)∞∞2e60/15
RS-20-initIn0 Brockhoff 1649 (1632)1.4e4 (1e4)8.1e4 (9e4)∞∞∞∞2e60/15
RS-20 Brockhoff 1639 (2023)1.1e4 (2e4)1.2e5 (1e5)∞∞∞∞2e60/15
RS-2 Brockhoff 2.4e4 (3e4)6.6e4 (8e4)1.0e5 (1e5)9.6e4 (7e4)2.0e5 (2e5)∞∞2e60/15
RS-3-initIn0 Brockhoff 4800 (55)7057 (2e4)2.1e4 (4e4)5.0e4 (4e4)∞∞∞2e60/15
RS-3 Brockhoff 4886 (273)7500 (2e4)2.3e4 (3e4)5.6e4 (6e4)∞∞∞2e60/15
RS-4-initIn0 Brockhoff 106 (104)431 (330)4193 (3143)5.6e4 (5e4)4.4e5 (5e5)∞∞2e60/15
RS-5-initIn0 Brockhoff 168 (230)750 (832)3559 (3256)4.5e4 (3e4)2.1e5 (4e5)∞∞2e60/15
RS-6-initIn0 Brockhoff 187 (175)689 (577)8496 (8354)1.1e5 (1e5)∞∞∞2e60/15
RS-6 Brockhoff 90 (112)1152 (1335)1.1e4 (1e4)7.9e4 (1e5)4.3e5 (4e5)∞∞2e60/15
SLSQP-scipy-2019 Varelas 0.82 (0.2)0.60 (0.2)↑00.61 (0.1)↑00.59 (0.1)↑00.60 (0.1)↑1538 (1354)1966 (4966)8/15
TNC-scipy-2019 Varelas 3.2 (2)4.2 (3)7.8 (6)8.4 (4)8.5 (6)14 (7)100 (105)13/15
adapt-Nelder-Mead-scipy-2019 Varelas 1.5 (0.7)1.4 (0.6)1.4 (0.5)1.4 (0.4)1.4 (0.3)1.3 (0.3)1.2 (0.2)15/15

Δ fopt
f11, 2-D		 1e1
35		 1e0
45		 1e-1
50		 1e-2
62		 1e-3
67		 1e-5
81		 1e-7
97		 #succ
15/15
Adaptive-Two-Mode Bodner 47 (13)155 (373)205 (523)261 (531)359 (829)623 (904)1053 (1340)14/15
BFGS-scipy-2019 Varelas 0.90 (0.4)0.85 (0.4)0.92 (0.3)0.82 (0.2)0.83 (0.2)3.3 (3)26 (40)15/15
CG-scipy-2019 Varelas 2.3 (1)3.2 (2)3.6 (3)4.4 (3)5.0 (2)17 (18)127 (182)12/15
COBYLA-scipy-2019 Varelas 2.5 (2)6.4 (4)19 (12)38 (34)122 (138)7707 (1e4)∞2e50/15
DE-scipy-2019 Varelas 8.2 (3)8.9 (4)11 (3)14 (5)25 (17)89 (112)332 (226)12/15
GNN-CMA-ES Faury 17 (33)34 (48)42 (58)37 (45)38 (52)32 (43)28 (36)15/15
IPOP-CMA-ES-2019 Faury 5.5 (3)5.2 (2)5.6 (1)4.9 (0.9)4.8 (1)4.8 (0.8)4.7 (0.7)15/15
L-BFGS-B-scipy-2019 Varelas 1.0 (0.9)1.6 (0.7)1.7 (0.2)1.5 (0.2)1.4 (0.2)2.3 (0.3)7.3 (7)15/15
Nelder-Mead-scipy-2019 Varelas 1.8 (0.8)1.7 (0.6)1.7 (0.5)1.5 (0.3)1.5 (0.2)1.4 (0.2)1.3 (0.2)15/15
Powell-scipy-2019 Varelas 2.7 (3)4.1 (2)4.1 (2)3.4 (2)3.3 (2)2.9 (1)2.5 (1)15/15
RS-0p5-initIn0 Brockhoff 8.0e5 (1e6)6.2e5 (5e5)∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 8.0e5 (7e5)6.2e5 (7e5)∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 1.6e5 (3e5)1.8e5 (1e5)5.6e5 (6e5)∞∞∞∞2e60/15
RS-10-initIn0 Brockhoff 367 (303)2567 (2610)3.5e4 (6e4)2.2e5 (2e5)∞∞∞2e60/15
RS-10 Brockhoff 359 (458)2817 (4257)3.4e4 (4e4)2.3e5 (2e5)∞∞∞2e60/15
RS-1 Brockhoff 1.6e5 (2e5)1.8e5 (3e5)5.6e5 (1e6)4.7e5 (6e5)∞∞∞2e60/15
RS-2-initIn0 Brockhoff 5.0e4 (6e4)1.2e5 (1e5)1.6e5 (2e5)1.4e5 (2e5)4.5e5 (8e5)∞∞2e60/15
RS-20-initIn0 Brockhoff 1465 (1477)8965 (1e4)7.5e4 (1e5)∞∞∞∞2e60/15
RS-20 Brockhoff 1600 (1474)9942 (1e4)1.1e5 (1e5)2.3e5 (2e5)∞∞∞2e60/15
RS-2 Brockhoff 5.0e4 (7e4)1.2e5 (2e5)1.2e5 (2e5)1.3e5 (1e5)∞∞∞2e60/15
RS-3-initIn0 Brockhoff 8887 (3e4)2.3e4 (3e4)6.3e4 (6e4)8.4e4 (8e4)∞∞∞2e60/15
RS-3 Brockhoff 8870 (3e4)2.4e4 (4e4)6.2e4 (6e4)5.6e4 (7e4)4.3e5 (5e5)∞∞2e60/15
RS-4-initIn0 Brockhoff 59 (37)646 (906)3477 (3442)4.4e4 (5e4)1.3e5 (1e5)∞∞2e60/15
RS-5-initIn0 Brockhoff 108 (103)788 (986)8106 (8294)4.9e4 (7e4)4.4e5 (4e5)∞∞2e60/15
RS-6-initIn0 Brockhoff 193 (173)1589 (1604)1.2e4 (1e4)6.2e4 (7e4)4.4e5 (6e5)∞∞2e60/15
RS-6 Brockhoff 95 (118)763 (791)7484 (8444)4.9e4 (5e4)∞∞∞2e60/15
SLSQP-scipy-2019 Varelas 0.71 (0.2)↑10.64 (0.2)↑00.66 (0.2)↑00.61 (0.2)↑00.62 (0.2)↑03344 (5421)9136 (1e4)5/15
TNC-scipy-2019 Varelas 3.0 (2)5.0 (4)6.3 (4)5.8 (3)8.6 (6)21 (18)136 (231)14/15
adapt-Nelder-Mead-scipy-2019 Varelas 1.8 (1)1.5 (0.9)1.7 (0.5)1.5 (0.4)1.5 (0.4)1.4 (0.3)1.4 (0.2)15/15

Δ fopt
f12, 2-D		 1e1
35		 1e0
46		 1e-1
75		 1e-2
94		 1e-3
105		 1e-5
153		 1e-7
195		 #succ
15/15
Adaptive-Two-Mode Bodner 49 (42)64 (53)97 (161)165 (214)319 (494)365 (459)345 (346)15/15
BFGS-scipy-2019 Varelas 11 (21)20 (19)15 (12)13 (10)12 (9)11 (14)19 (34)13/15
CG-scipy-2019 Varelas 1.7 (2)2.1 (2)1.7 (1)2.0 (2)2.0 (2)4.7 (9)15 (20)14/15
COBYLA-scipy-2019 Varelas 12 (2)11 (5)11 (15)24 (27)57 (53)3199 (3965)∞2e50/15
DE-scipy-2019 Varelas 7.5 (2)7.3 (2)6.9 (2)7.6 (3)8.1 (5)11 (7)24 (29)10/15
GNN-CMA-ES Faury 26 (39)39 (44)33 (33)29 (27)27 (25)21 (23)17 (18)15/15
IPOP-CMA-ES-2019 Faury 5.9 (3)8.1 (6)6.5 (5)6.5 (4)6.6 (4)5.9 (5)5.4 (5)15/15
L-BFGS-B-scipy-2019 Varelas 1.3 (1.0)1.7 (3)1.5 (2)1.4 (2)1.4 (2)1.4 (2)5.6 (12)15/15
Nelder-Mead-scipy-2019 Varelas 2.0 (2)3.2 (4)2.8 (3)2.6 (3)2.5 (3)2.1 (2)3.0 (2)15/15
Powell-scipy-2019 Varelas 20 (33)22 (28)15 (18)13 (14)14 (15)11 (13)9.3 (12)15/15
RS-0p5-initIn0 Brockhoff 3.7e5 (4e5)∞∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 3.7e5 (4e5)∞∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 1.1e5 (1e5)1.2e5 (2e5)7.3e4 (1e5)6.1e4 (5e4)8.4e4 (7e4)∞∞2e60/15
RS-10-initIn0 Brockhoff 354 (270)2415 (1776)1.8e4 (2e4)1.5e5 (3e5)∞∞∞2e60/15
RS-10 Brockhoff 387 (465)2247 (1555)1.8e4 (2e4)9.2e4 (9e4)1.3e5 (2e5)∞∞2e60/15
RS-1 Brockhoff 1.1e5 (1e5)1.2e5 (9e4)7.4e4 (5e4)6.0e4 (8e4)8.0e4 (1e5)∞∞2e60/15
RS-2-initIn0 Brockhoff 8.6e4 (2e5)1.2e5 (1e5)7.4e4 (9e4)6.3e4 (7e4)∞∞∞2e60/15
RS-20-initIn0 Brockhoff 1813 (2021)1.1e4 (2e4)8.5e4 (1e5)∞∞∞∞2e60/15
RS-20 Brockhoff 1917 (1779)1.5e4 (2e4)1.9e5 (1e5)∞∞∞∞2e60/15
RS-2 Brockhoff 8.6e4 (1e5)1.2e5 (2e5)7.4e4 (9e4)6.2e4 (5e4)1.3e5 (2e5)∞∞2e60/15
RS-3-initIn0 Brockhoff 2.9e4 (3e4)3.9e4 (6e4)3.4e4 (4e4)3.8e4 (3e4)∞∞∞2e60/15
RS-3 Brockhoff 2.9e4 (7e4)3.8e4 (7e4)4.1e4 (7e4)3.8e4 (4e4)∞∞∞2e60/15
RS-4-initIn0 Brockhoff 119 (140)387 (481)2541 (1959)3.1e4 (4e4)∞∞∞2e60/15
RS-5-initIn0 Brockhoff 66 (53)460 (393)2617 (2508)9.4e4 (7e4)2.8e5 (4e5)∞∞2e60/15
RS-6-initIn0 Brockhoff 157 (206)971 (650)2938 (3082)3.4e4 (4e4)2.7e5 (3e5)∞∞2e60/15
RS-6 Brockhoff 148 (147)793 (943)4605 (5054)1.8e4 (2e4)1.3e5 (2e5)∞∞2e60/15
SLSQP-scipy-2019 Varelas 1.8 (3)2.5 (4)2.1 (3)2.0 (3)2.0 (3)2.2 (4)4.9 (4)14/15
TNC-scipy-2019 Varelas 2.4 (3)3.1 (4)21 (3)38 (7)61 (25)80 (110)745 (1087)9/15
adapt-Nelder-Mead-scipy-2019 Varelas 1.9 (1)2.2 (1)1.8 (1)1.7 (1)1.6 (1)1.4 (1)2.8 (3)15/15

Δ fopt
f13, 2-D		 1e1
23		 1e0
35		 1e-1
46		 1e-2
60		 1e-3
71		 1e-5
95		 1e-7
122		 #succ
15/15
Adaptive-Two-Mode Bodner 21 (18)24 (18)68 (67)123 (172)650 (543)7970 (9489)4.9e4 (5e4)0/15
BFGS-scipy-2019 Varelas 17 (22)38 (39)107 (83)107 (68)367 (725)1133 (2130)7572 (9439)1/15
CG-scipy-2019 Varelas 43 (103)179 (115)241 (190)691 (835)1238 (1577)1.4e4 (2e4)∞2e50/15
COBYLA-scipy-2019 Varelas 4.4 (8)14 (11)20 (22)173 (185)1292 (1616)∞∞2e50/15
DE-scipy-2019 Varelas 4.3 (4)6.3 (4)12 (8)26 (38)95 (107)232 (286)1472 (1814)3/15
GNN-CMA-ES Faury 2.1 (1)3.1 (2)5.4 (1)7.9 (2)7.7 (3)7.5 (3)7.8 (5)15/15
IPOP-CMA-ES-2019 Faury 3.2 (2)4.3 (2)4.5 (2)4.3 (1)4.3 (1)4.4 (0.8)4.4 (0.7)15/15
L-BFGS-B-scipy-2019 Varelas 4.9 (7)4.1 (5)4.8 (5)5.1 (6)6.7 (7)10 (11)30 (27)13/15
Nelder-Mead-scipy-2019 Varelas 2.0 (0.9)2.1 (0.8)1.9 (0.7)1.6 (0.4)1.5 (0.4)1.4 (0.3)2.0 (1)15/15
Powell-scipy-2019 Varelas 49 (72)65 (98)94 (120)244 (368)409 (612)704 (1058)788 (1658)11/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 2.4e5 (3e5)8.0e5 (9e5)6.1e5 (7e5)4.7e5 (5e5)4.0e5 (4e5)∞∞2e60/15
RS-10-initIn0 Brockhoff 80 (63)972 (1361)2.0e4 (4e4)2.4e5 (2e5)∞∞∞2e60/15
RS-10 Brockhoff 97 (108)869 (1275)3.2e4 (3e4)4.9e5 (6e5)∞∞∞2e60/15
RS-1 Brockhoff 2.4e5 (2e5)8.0e5 (7e5)6.1e5 (4e5)4.7e5 (6e5)∞∞∞2e60/15
RS-2-initIn0 Brockhoff 4.3e4 (4e4)5.0e4 (6e4)5.2e4 (9e4)2.4e5 (2e5)∞∞∞2e60/15
RS-20-initIn0 Brockhoff 239 (272)4089 (5584)3.2e5 (3e5)∞∞∞∞2e60/15
RS-20 Brockhoff 197 (126)5227 (5283)1.4e5 (2e5)∞∞∞∞2e60/15
RS-2 Brockhoff 4.4e4 (7e4)5.0e4 (1e5)5.1e4 (7e4)9.9e4 (1e5)∞∞∞2e60/15
RS-3-initIn0 Brockhoff 1.3e4 (4e4)1.4e4 (4e4)3.2e4 (6e4)1.1e5 (1e5)∞∞∞2e60/15
RS-3 Brockhoff 1.3e4 (4e4)1.5e4 (4e4)3.2e4 (4e4)1.5e5 (2e5)∞∞∞2e60/15
RS-4-initIn0 Brockhoff 10 (10)317 (399)8290 (9870)1.6e5 (1e5)∞∞∞2e60/15
RS-5-initIn0 Brockhoff 16 (17)210 (202)1.0e4 (1e4)4.7e5 (4e5)∞∞∞2e60/15
RS-6-initIn0 Brockhoff 29 (37)1011 (988)9515 (1e4)4.9e5 (4e5)∞∞∞2e60/15
RS-6 Brockhoff 24 (35)636 (794)1.1e4 (6750)4.9e5 (6e5)∞∞∞2e60/15
SLSQP-scipy-2019 Varelas 0.98 (0.3)0.89 (0.3)★20.82 (0.3)★31.4 (0.2)★21.3 (0.2)★21.1e4 (3)4.9e4 (6e4)4/15
TNC-scipy-2019 Varelas 18 (17)54 (62)143 (181)236 (383)569 (426)1380 (1680)1485 (1628)4/15
adapt-Nelder-Mead-scipy-2019 Varelas 2.1 (0.9)1.9 (0.6)1.7 (0.5)1.6 (0.3)1.5 (0.2)1.4 (0.2)2.8 (3)15/15

Δ fopt
f14, 2-D		 1e1
1		 1e0
7.0		 1e-1
16		 1e-2
24		 1e-3
38		 1e-5
67		 1e-7
90		 #succ
15/15
Adaptive-Two-Mode Bodner 21 (45)21 (22)23 (27)26 (24)31 (26)218 (309)1780 (2408)7/15
BFGS-scipy-2019 Varelas 4.7 (4)2.3 (1)1.9 (0.8)1.9 (0.7)1.6 (0.5)1.4 (0.3)22 (25)15/15
CG-scipy-2019 Varelas 5.0 (4)1.9 (0.9)1.6 (0.9)1.9 (0.9)1.8 (0.9)1.9 (0.4)20 (30)15/15
COBYLA-scipy-2019 Varelas 3.3 (3)1.2 (0.6)0.78 (0.2)1.3 (0.6)36 (29)453 (532)∞2e50/15
DE-scipy-2019 Varelas 2.1 (3)2.6 (2)7.7 (2)8.2 (3)6.0 (2)4.2 (2)26 (22)15/15
GNN-CMA-ES Faury 3.5 (4)3.7 (4)4.3 (2)4.3 (0.9)4.5 (1)4.8 (1)5.6 (1)15/15
IPOP-CMA-ES-2019 Faury 4.3 (4)3.2 (3)3.6 (2)4.1 (2)4.7 (1)4.8 (1)4.7 (0.9)15/15
L-BFGS-B-scipy-2019 Varelas 3.2 (4)1.8 (0.9)1.4 (0.7)1.5 (0.5)1.3 (0.4)1.1 (0.2)4.9 (4)15/15
Nelder-Mead-scipy-2019 Varelas 3.8 (6)3.5 (2)2.2 (0.8)1.9 (0.6)1.5 (0.4)1.2 (0.2)1.2 (0.1)15/15
Powell-scipy-2019 Varelas 8.4 (15)3.7 (4)2.4 (2)2.9 (2)3.7 (1)3.9 (1)4.6 (1)15/15
RS-0p5-initIn0 Brockhoff 5.0e5 (1e6)1.1e6 (2e6)∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 5.0e5 (1e6)1.1e6 (1e6)∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 3.1e5 (1e6)5.7e5 (6e5)5.0e5 (7e5)5.4e5 (7e5)3.4e5 (8e5)∞∞2e60/15
RS-10-initIn0 Brockhoff 3.1 (4)14 (22)176 (290)2645 (3270)2.0e4 (2e4)∞∞2e60/15
RS-10 Brockhoff 5.7 (4)9.1 (12)176 (201)2246 (3501)4.2e4 (4e4)4.2e5 (5e5)∞2e60/15
RS-1 Brockhoff 3.1e5 (1e6)5.7e5 (9e5)5.0e5 (4e5)5.4e5 (8e5)3.4e5 (3e5)2.0e5 (3e5)∞2e60/15
RS-2-initIn0 Brockhoff 4.3 (6)1.9e5 (3e5)1.9e5 (2e5)1.3e5 (2e5)1.1e5 (2e5)4.3e5 (6e5)∞2e60/15
RS-20-initIn0 Brockhoff 6.9 (8)70 (79)471 (357)9703 (8267)3.8e5 (3e5)∞∞2e60/15
RS-20 Brockhoff 20 (19)52 (66)689 (778)7850 (7766)1.1e5 (1e5)∞∞2e60/15
RS-2 Brockhoff 3.1 (4)1.9e5 (4e5)1.9e5 (3e5)1.3e5 (2e5)1.1e5 (1e5)∞∞2e60/15
RS-3-initIn0 Brockhoff 3.4 (3)6.6 (12)6.3e4 (9e4)4.2e4 (8e4)2.9e4 (4e4)∞∞2e60/15
RS-3 Brockhoff 3.2 (3)11 (27)6.3e4 (9e4)4.2e4 (4e4)3.0e4 (4e4)1.3e5 (2e5)∞2e60/15
RS-4-initIn0 Brockhoff 2.3 (2)1.7 (2)21 (31)242 (352)5901 (5636)∞∞2e60/15
RS-5-initIn0 Brockhoff 2.1 (2)4.8 (7)52 (59)933 (789)8479 (8768)∞∞2e60/15
RS-6-initIn0 Brockhoff 2.2 (2)6.1 (9)43 (47)565 (558)1.1e4 (1e4)∞∞2e60/15
RS-6 Brockhoff 3.1 (2)6.1 (7)31 (40)761 (648)8504 (7883)∞∞2e60/15
SLSQP-scipy-2019 Varelas 5.1 (5)1.6 (0.6)1.2 (0.7)1.3 (0.5)1.1 (0.4)0.96 (0.3)194 (490)14/15
TNC-scipy-2019 Varelas 10 (10)5.4 (4)4.6 (3)4.5 (2)4.3 (1)4.3 (2)19 (15)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 5.1 (8)2.9 (1)2.1 (0.8)1.9 (0.5)1.5 (0.5)1.2 (0.3)1.2 (0.3)15/15

Δ fopt
f15, 2-D		 1e1
37		 1e0
291		 1e-1
1033		 1e-2
1066		 1e-3
1113		 1e-5
1231		 1e-7
1412		 #succ
15/15
Adaptive-Two-Mode Bodner 13 (21)6.8 (6)10 (9)10 (8)10 (8)10 (7)9.3 (6)15/15
BFGS-scipy-2019 Varelas 14 (18)4.1 (4)5.7 (6)5.5 (6)5.3 (6)4.8 (5)4.2 (5)15/15
CG-scipy-2019 Varelas 12 (13)7.2 (6)13 (12)13 (12)12 (11)11 (10)10 (9)15/15
COBYLA-scipy-2019 Varelas 0.71 (0.9)2.3 (4)3.6 (3)3.5 (3)4.6 (9)8.7 (9)625 (391)0/15
DE-scipy-2019 Varelas 2.7 (2)1.9 (1)0.86 (0.7)0.92 (0.6)0.91 (0.6)0.84 (0.6)1.4 (1)15/15
GNN-CMA-ES Faury 2.2 (1)2.5 (3)1.8 (2)1.8 (2)1.8 (2)1.7 (2)1.6 (1)15/15
IPOP-CMA-ES-2019 Faury 1.3 (0.9)2.7 (3)2.6 (3)2.8 (3)2.7 (3)2.6 (3)2.3 (3)15/15
L-BFGS-B-scipy-2019 Varelas 3.7 (4)3.8 (5)4.5 (5)4.4 (5)4.2 (4)3.8 (4)3.4 (4)15/15
Nelder-Mead-scipy-2019 Varelas 7.3 (10)7.0 (8)6.6 (7)6.4 (7)6.2 (6)5.6 (6)117 (108)0/15
Powell-scipy-2019 Varelas 63 (149)43 (48)48 (61)46 (59)44 (56)40 (51)35 (44)15/15
RS-0p5-initIn0 Brockhoff 1.5e5 (3e5)9.7e4 (1e5)∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 1.5e5 (2e5)9.6e4 (1e5)∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 3.6e4 (4e4)4.5e4 (5e4)2.7e4 (4e4)2.7e4 (3e4)2.5e4 (3e4)∞∞2e60/15
RS-10-initIn0 Brockhoff 17 (24)217 (194)1483 (1454)1.4e4 (2e4)∞∞∞2e60/15
RS-10 Brockhoff 8.3 (8)210 (271)709 (568)8640 (8960)∞∞∞2e60/15
RS-1 Brockhoff 3.6e4 (4e4)4.5e4 (5e4)2.7e4 (5e4)2.6e4 (4e4)2.5e4 (2e4)2.4e4 (3e4)∞2e60/15
RS-2-initIn0 Brockhoff 1.4e4 (4e4)1.1e4 (1e4)5367 (6802)5322 (1e4)5514 (6099)∞∞2e60/15
RS-20-initIn0 Brockhoff 52 (49)1307 (1612)1.4e4 (1e4)∞∞∞∞2e60/15
RS-20 Brockhoff 59 (72)1123 (543)3083 (2666)2.7e4 (3e4)∞∞∞2e60/15
RS-2 Brockhoff 1.4e4 (4e4)1.2e4 (2e4)5356 (4842)5305 (5652)1.2e4 (1e4)∞∞2e60/15
RS-3-initIn0 Brockhoff 3867 (15)2460 (3500)1813 (2515)2886 (2954)2.7e4 (3e4)∞∞2e60/15
RS-3 Brockhoff 3863 (6)1528 (3438)1774 (2489)2078 (2174)5388 (7042)∞∞2e60/15
RS-4-initIn0 Brockhoff 2.4 (2)45 (52)68 (95)1823 (1766)1.2e4 (1e4)∞∞2e60/15
RS-5-initIn0 Brockhoff 3.2 (5)54 (46)211 (269)1990 (2101)2.6e4 (3e4)∞∞2e60/15
RS-6-initIn0 Brockhoff 5.6 (5)90 (124)271 (296)4485 (3507)2.5e4 (3e4)∞∞2e60/15
RS-6 Brockhoff 5.6 (6)97 (101)263 (469)1498 (1599)2.6e4 (2e4)∞∞2e60/15
SLSQP-scipy-2019 Varelas 4.9 (5)4.9 (6)5.1 (5)5.0 (5)4.8 (5)4.3 (5)3.8 (4)15/15
TNC-scipy-2019 Varelas 13 (19)28 (42)19 (16)18 (16)18 (15)16 (14)19 (18)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 4.6 (5)7.2 (8)7.3 (6)7.0 (6)6.7 (6)6.1 (5)100 (101)0/15

Δ fopt
f16, 2-D		 1e1
9.0		 1e0
50		 1e-1
174		 1e-2
326		 1e-3
358		 1e-5
409		 1e-7
538		 #succ
15/15
Adaptive-Two-Mode Bodner 18 (13)32 (15)11 (4)96 (23)91 (22)86 (20)70 (14)14/15
BFGS-scipy-2019 Varelas 184 (190)325 (413)713 (761)1374 (1838)∞∞∞2e50/15
CG-scipy-2019 Varelas 85 (114)184 (230)363 (249)1048 (912)2598 (2797)∞∞2e50/15
COBYLA-scipy-2019 Varelas 2.9 (5)2.7 (3)4.1 (5)5.9 (6)16 (23)149 (208)1663 (1791)0/15
DE-scipy-2019 Varelas 1.1 (0.9)2.3 (2)2.5 (2)4.2 (4)24 (27)169 (251)2613 (2417)0/15
GNN-CMA-ES Faury 3.7 (6)6.3 (9)2.7 (3)1.6 (1)1.6 (1)1.8 (2)1.5 (1)15/15
IPOP-CMA-ES-2019 Faury 3.4 (2)9.1 (11)5.1 (3)2.9 (2)2.7 (2)2.8 (2)2.3 (2)15/15
L-BFGS-B-scipy-2019 Varelas 98 (180)175 (235)163 (200)772 (921)4001 (4050)∞∞2e50/15
Nelder-Mead-scipy-2019 Varelas 8.1 (9)17 (18)26 (25)22 (26)23 (37)20 (36)18 (28)15/15
Powell-scipy-2019 Varelas 29 (23)66 (139)48 (54)83 (97)188 (231)857 (958)852 (960)4/15
RS-0p5-initIn0 Brockhoff 1.6e4 (80)5.6e5 (6e5)∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 1.6e4 (56)2.7e5 (2e5)∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 50 (42)4.0e4 (6e4)3.2e4 (3e4)1.7e4 (1e4)1.6e4 (2e4)∞∞2e60/15
RS-10-initIn0 Brockhoff 10 (9)14 (14)56 (85)512 (402)5016 (5330)∞∞2e60/15
RS-10 Brockhoff 5.6 (8)16 (19)126 (126)428 (509)4799 (4808)∞∞2e60/15
RS-1 Brockhoff 25 (33)3.6e4 (4e4)3.2e4 (2e4)1.7e4 (2e4)1.6e4 (2e4)∞∞2e60/15
RS-2-initIn0 Brockhoff 5.8 (5)2169 (14)847 (31)748 (558)2550 (3106)7.2e4 (9e4)∞2e60/15
RS-20-initIn0 Brockhoff 35 (46)63 (54)266 (273)2573 (3527)1.8e4 (2e4)∞∞2e60/15
RS-20 Brockhoff 35 (50)80 (67)137 (120)1819 (2526)1.4e4 (1e4)∞∞2e60/15
RS-2 Brockhoff 2.9 (4)2864 (7)838 (33)696 (438)2934 (3144)∞∞2e60/15
RS-3-initIn0 Brockhoff 2.6 (2)4.6 (7)19 (20)71 (60)1374 (1730)7.2e4 (1e5)∞2e60/15
RS-3 Brockhoff 2.1 (3)8.0 (8)25 (32)66 (43)1000 (1219)∞∞2e60/15
RS-4-initIn0 Brockhoff 2.5 (3)6.4 (6)21 (20)187 (171)1499 (1347)∞∞2e60/15
RS-5-initIn0 Brockhoff 2.8 (2)4.2 (5)14 (12)118 (173)1046 (707)∞∞2e60/15
RS-6-initIn0 Brockhoff 2.8 (3)8.4 (8)20 (20)102 (107)1229 (1391)3.2e4 (4e4)∞2e60/15
RS-6 Brockhoff 1.7 (2)6.6 (4)44 (34)198 (244)1123 (887)∞∞2e60/15
SLSQP-scipy-2019 Varelas 3.1e4 (6e4)6.4e4 (5e4)∞∞∞∞∞5e50/15
TNC-scipy-2019 Varelas 101 (111)140 (206)129 (124)720 (555)2372 (1993)∞∞2e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 6.7 (7)16 (23)23 (24)15 (13)19 (13)19 (22)21 (17)14/15

Δ fopt
f17, 2-D		 1e1
3.0		 1e0
61		 1e-1
133		 1e-2
275		 1e-3
396		 1e-5
1086		 1e-7
1657		 #succ
15/15
Adaptive-Two-Mode Bodner 27 (64)15 (21)12 (15)10 (7)10 (5)21 (36)15 (23)15/15
BFGS-scipy-2019 Varelas 27 (62)27 (33)174 (212)1242 (978)∞∞∞2e50/15
CG-scipy-2019 Varelas 54 (127)24 (27)257 (233)2227 (3557)∞∞∞2e50/15
COBYLA-scipy-2019 Varelas 15 (28)12 (13)27 (23)50 (51)219 (350)∞∞2e50/15
DE-scipy-2019 Varelas 1.7 (2)1.1 (0.7)3.4 (3)38 (48)207 (237)576 (747)828 (726)2/15
GNN-CMA-ES Faury 16 (3)1.5 (1)1.3 (0.5)1.1 (1)1.6 (1)1.4 (1)1.3 (0.6)15/15
IPOP-CMA-ES-2019 Faury 1.7 (2)1.6 (0.8)1.2 (0.5)1.5 (2)1.3 (1)1.6 (1)1.4 (1)15/15
L-BFGS-B-scipy-2019 Varelas 11 (10)14 (20)100 (80)374 (430)3486 (3703)∞∞2e50/15
Nelder-Mead-scipy-2019 Varelas 91 (213)101 (160)231 (291)360 (367)384 (412)∞∞2e50/15
Powell-scipy-2019 Varelas 15 (22)6.2 (7)9.5 (13)28 (40)92 (73)594 (433)390 (296)4/15
RS-0p5-initIn0 Brockhoff 1.7e5 (3e5)∞∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 1.7e5 (3e5)∞∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 1.0e5 (3e5)4.6e5 (6e5)2.1e5 (3e5)1.0e5 (1e5)∞∞∞2e60/15
RS-10-initIn0 Brockhoff 7.0 (7)12 (11)774 (598)5.0e4 (6e4)∞∞∞2e60/15
RS-10 Brockhoff 5.4 (5)21 (19)579 (559)2.2e4 (2e4)∞∞∞2e60/15
RS-1 Brockhoff 1.0e5 (3e5)4.6e5 (6e5)2.1e5 (2e5)1.0e5 (1e5)∞∞∞2e60/15
RS-2-initIn0 Brockhoff 3.8 (4)6.6e4 (1e5)6.0e4 (5e4)3.1e4 (4e4)∞∞∞2e60/15
RS-20-initIn0 Brockhoff 20 (23)78 (88)4472 (5361)3.3e4 (5e4)∞∞∞2e60/15
RS-20 Brockhoff 37 (43)74 (108)1470 (1897)∞∞∞∞2e60/15
RS-2 Brockhoff 4.2 (4)6.6e4 (7e4)6.0e4 (6e4)3.1e4 (4e4)∞∞∞2e60/15
RS-3-initIn0 Brockhoff 1.6 (2)1.2e4 (2e4)1.0e4 (2e4)7810 (8079)7.2e4 (8e4)∞∞2e60/15
RS-3 Brockhoff 2.1 (3)1.2e4 (2e4)1.0e4 (2e4)1.1e4 (1e4)∞∞∞2e60/15
RS-4-initIn0 Brockhoff 1.3 (1)2.7 (2)121 (181)5256 (8961)∞∞∞2e60/15
RS-5-initIn0 Brockhoff 2.4 (3)4.8 (6)167 (229)5597 (7291)∞∞∞2e60/15
RS-6-initIn0 Brockhoff 1.9 (3)4.7 (5)151 (145)5668 (8047)∞∞∞2e60/15
RS-6 Brockhoff 3.0 (3)6.1 (5)251 (200)1.1e4 (1e4)∞∞∞2e60/15
SLSQP-scipy-2019 Varelas 21 (32)40 (83)244 (404)2426 (2880)3620 (4501)∞∞2e50/15
TNC-scipy-2019 Varelas 58 (89)47 (65)338 (236)∞∞∞∞2e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 67 (73)98 (125)322 (310)373 (443)466 (463)∞∞2e50/15

Δ fopt
f18, 2-D		 1e1
19		 1e0
134		 1e-1
666		 1e-2
1249		 1e-3
1708		 1e-5
2438		 1e-7
2858		 #succ
15/15
Adaptive-Two-Mode Bodner 12 (12)18 (20)6.5 (6)6.1 (5)7.1 (6)74 (88)65 (82)13/15
BFGS-scipy-2019 Varelas 204 (445)139 (164)269 (202)1163 (801)1712 (1435)∞∞2e50/15
CG-scipy-2019 Varelas 42 (44)74 (68)286 (308)∞∞∞∞2e50/15
COBYLA-scipy-2019 Varelas 5.1 (5)3.7 (2)14 (23)140 (148)806 (567)∞∞2e50/15
DE-scipy-2019 Varelas 2.0 (1)2.0 (1)1.2 (0.8)11 (18)107 (132)1168 (1272)∞2e50/15
GNN-CMA-ES Faury 4.1 (4)3.2 (3)0.89 (0.8)0.61 (0.4)↑10.70 (0.7)0.96 (0.4)0.91 (0.4)15/15
IPOP-CMA-ES-2019 Faury 5.1 (2)3.0 (4)0.83 (0.9)0.67 (0.4)0.56 (0.3)↑10.65 (0.5)0.75 (0.5)15/15
L-BFGS-B-scipy-2019 Varelas 23 (9)60 (74)129 (153)1122 (1185)∞∞∞2e50/15
Nelder-Mead-scipy-2019 Varelas 64 (76)75 (117)54 (54)195 (314)782 (703)∞∞2e50/15
Powell-scipy-2019 Varelas 12 (16)12 (13)15 (25)60 (59)388 (298)∞∞2e50/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 2.1e5 (2e5)2.1e5 (2e5)4.2e4 (6e4)2.2e4 (3e4)∞∞∞2e60/15
RS-10-initIn0 Brockhoff 9.1 (10)84 (62)1430 (1333)1.2e4 (1e4)∞∞∞2e60/15
RS-10 Brockhoff 10 (14)62 (54)652 (424)∞∞∞∞2e60/15
RS-1 Brockhoff 2.1e5 (3e5)2.1e5 (2e5)4.2e4 (5e4)2.3e4 (3e4)∞∞∞2e60/15
RS-2-initIn0 Brockhoff 7.0e4 (2e5)3.0e4 (3e4)1.2e4 (2e4)1.1e4 (2e4)∞∞∞2e60/15
RS-20-initIn0 Brockhoff 40 (42)284 (350)3620 (6049)∞∞∞∞2e60/15
RS-20 Brockhoff 53 (62)396 (368)3983 (4179)∞∞∞∞2e60/15
RS-2 Brockhoff 7.0e4 (1e5)3.0e4 (5e4)1.2e4 (1e4)1.1e4 (1e4)∞∞∞2e60/15
RS-3-initIn0 Brockhoff 1.6e4 (5e4)5540 (7470)2104 (3054)1.1e4 (9197)∞∞∞2e60/15
RS-3 Brockhoff 1.6e4 (5e4)5460 (1e4)2193 (3067)∞∞∞∞2e60/15
RS-4-initIn0 Brockhoff 1.7 (2)17 (30)252 (241)1.1e4 (2e4)∞∞∞2e60/15
RS-5-initIn0 Brockhoff 2.1 (2)17 (22)372 (562)2.3e4 (1e4)∞∞∞2e60/15
RS-6-initIn0 Brockhoff 2.7 (4)40 (65)795 (836)∞∞∞∞2e60/15
RS-6 Brockhoff 4.9 (5)22 (20)477 (442)2.3e4 (3e4)∞∞∞2e60/15
SLSQP-scipy-2019 Varelas 101 (172)298 (325)2687 (2246)∞∞∞∞2e50/15
TNC-scipy-2019 Varelas 51 (42)140 (128)550 (490)∞∞∞∞2e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 57 (64)68 (56)52 (59)226 (234)302 (475)∞∞2e50/15

Δ fopt
f19, 2-D		 1e1
1		 1e0
1		 1e-1
26		 1e-2
216		 1e-3
227		 1e-5
252		 1e-7
276		 #succ
15/15
Adaptive-Two-Mode Bodner 1 (0)1 (0)0.62 (0.7)5.1 (6)5.7 (7)8.6 (9)11 (11)15/15
BFGS-scipy-2019 Varelas 253 (301)864 (694)66 (74)55 (61)52 (58)47 (52)43 (48)15/15
CG-scipy-2019 Varelas 191 (334)809 (936)104 (97)50 (46)48 (44)43 (39)40 (36)15/15
COBYLA-scipy-2019 Varelas 6.9 (4)137 (74)38 (33)17 (33)33 (48)236 (349)1778 (1839)1/15
DE-scipy-2019 Varelas 6.3 (6)53 (42)9.4 (7)6.5 (6)6.9 (6)7.3 (5)47 (88)10/15
GNN-CMA-ES Faury 1 (0)1 (0)11 (13)7.4 (8)7.4 (7)7.2 (7)6.8 (6)15/15
IPOP-CMA-ES-2019 Faury 1 (0)1 (0)6.4 (9)8.3 (10)10 (9)11 (11)12 (10)15/15
L-BFGS-B-scipy-2019 Varelas 56 (108)285 (351)24 (27)22 (18)21 (17)22 (15)20 (14)15/15
Nelder-Mead-scipy-2019 Varelas 38 (66)285 (359)28 (33)18 (24)17 (23)15 (21)14 (19)15/15
Powell-scipy-2019 Varelas 5.9 (6)121 (178)17 (23)28 (55)27 (52)24 (47)23 (43)15/15
RS-0p5-initIn0 Brockhoff 1 (0)1 (0)1.2 (1)1.3 (2)12 (10)5.2e4 (5e4)1.0e5 (1e5)0/15
RS-0p5 Brockhoff 1.7 (1)8.1 (14)1.4 (2)2.1 (2)19 (22)5.2e4 (6e4)1.0e5 (1e5)0/15
RS-1-initIn0 Brockhoff 1 (0)1 (0)2.0 (2)1.2 (1)3.5 (4)50 (62)951 (1098)6/15
RS-10-initIn0 Brockhoff 1 (0)1 (0)62 (53)233 (318)515 (676)4690 (5325)3.1e4 (2e4)1/15
RS-10 Brockhoff 19 (18)94 (94)34 (39)71 (58)390 (352)7005 (8430)∞2e60/15
RS-1 Brockhoff 2.2 (1)10 (8)1.9 (2)1.6 (1)3.3 (2)55 (75)1723 (1549)7/15
RS-2-initIn0 Brockhoff 1 (0)1 (0)5.3 (5)4.2 (5)12 (12)204 (295)6475 (8057)2/15
RS-20-initIn0 Brockhoff 1 (0)1 (0)207 (247)449 (374)1943 (2123)1.8e4 (2e4)∞2e60/15
RS-20 Brockhoff 36 (38)354 (436)123 (185)447 (534)1780 (2231)3.3e4 (3e4)∞2e60/15
RS-2 Brockhoff 1.7 (1)12 (10)7.2 (7)5.0 (6)14 (12)167 (196)3709 (3251)2/15
RS-3-initIn0 Brockhoff 1 (0)1 (0)6.1 (8)14 (12)49 (48)441 (485)4624 (5808)3/15
RS-3 Brockhoff 3.0 (2)24 (24)9.3 (12)12 (14)32 (35)239 (249)8111 (8271)1/15
RS-4-initIn0 Brockhoff 1 (0)1 (0)17 (15)28 (46)102 (94)791 (787)1.9e4 (3e4)2/15
RS-5-initIn0 Brockhoff 1 (0)1 (0)14 (13)27 (23)99 (92)1107 (1501)3.1e4 (4e4)0/15
RS-6-initIn0 Brockhoff 1 (0)1 (0)29 (31)79 (84)181 (117)2214 (3498)∞2e60/15
RS-6 Brockhoff 6.9 (6)57 (52)16 (20)38 (53)230 (181)2483 (1792)1.1e5 (1e5)0/15
SLSQP-scipy-2019 Varelas 8.0e5 (3e6)2.8e6 (4e6)3.5e5 (7e5)∞∞∞∞7e50/15
TNC-scipy-2019 Varelas 60 (101)232 (350)37 (53)19 (17)18 (16)17 (15)23 (20)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 19 (40)161 (202)26 (34)22 (18)21 (17)19 (16)17 (14)15/15

Δ fopt
f20, 2-D		 1e1
4.0		 1e0
61		 1e-1
365		 1e-2
366		 1e-3
366		 1e-5
370		 1e-7
375		 #succ
15/15
Adaptive-Two-Mode Bodner 29 (18)24 (29)136 (193)136 (192)137 (192)137 (191)137 (188)15/15
BFGS-scipy-2019 Varelas 3.5 (4)9.4 (8)4.7 (3)4.7 (3)4.7 (3)4.7 (3)4.6 (3)15/15
CG-scipy-2019 Varelas 2.5 (2)24 (41)13 (18)13 (18)13 (18)13 (17)13 (17)15/15
COBYLA-scipy-2019 Varelas 1.3 (1)5.7 (7)2.9 (4)2.9 (4)3.0 (4)3.0 (4)213 (352)2/15
DE-scipy-2019 Varelas 1.4 (2)4.3 (4)1.6 (1)1.8 (0.9)1.9 (0.9)1.9 (0.9)1.9 (0.9)15/15
GNN-CMA-ES Faury 4.0 (5)5.4 (7)7.0 (9)8.4 (10)8.9 (10)9.3 (11)10 (11)15/15
IPOP-CMA-ES-2019 Faury 2.8 (2)9.0 (7)11 (13)15 (18)16 (20)16 (20)16 (20)14/15
L-BFGS-B-scipy-2019 Varelas 2.5 (2)7.3 (9)2.1 (2)2.1 (2)2.1 (2)2.1 (2)2.1 (1)15/15
Nelder-Mead-scipy-2019 Varelas 4.7 (4)6.2 (8)2.7 (3)2.7 (3)2.8 (3)2.8 (3)5.2 (6)15/15
Powell-scipy-2019 Varelas 4.0 (4)17 (9)11 (19)11 (19)11 (19)11 (19)11 (18)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 28 (24)∞∞∞∞∞∞2e60/15
RS-10-initIn0 Brockhoff 9.3 (10)85 (98)261 (205)1666 (1347)4.0e4 (5e4)∞∞2e60/15
RS-10 Brockhoff 11 (8)119 (165)192 (166)2874 (2299)3.9e4 (5e4)∞∞2e60/15
RS-1 Brockhoff 54 (85)∞∞∞∞∞∞2e60/15
RS-2-initIn0 Brockhoff 1.4 (2)329 (345)∞∞∞∞∞2e60/15
RS-20-initIn0 Brockhoff 69 (72)353 (383)1333 (1087)1.4e4 (1e4)∞∞∞2e60/15
RS-20 Brockhoff 57 (47)375 (387)1125 (1678)1.1e4 (1e4)7.7e4 (1e5)∞∞2e60/15
RS-2 Brockhoff 0.93 (0.8)272 (315)∞∞∞∞∞2e60/15
RS-3-initIn0 Brockhoff 0.98 (0.6)6.4 (5)22 (24)210 (342)2490 (2999)∞∞2e60/15
RS-3 Brockhoff 0.78 (0.6)7.9 (12)29 (31)243 (251)3289 (2849)∞∞2e60/15
RS-4-initIn0 Brockhoff 1.7 (1)13 (11)51 (73)322 (347)6386 (8454)∞∞2e60/15
RS-5-initIn0 Brockhoff 2.4 (2)19 (17)87 (88)414 (500)1.1e4 (1e4)∞∞2e60/15
RS-6-initIn0 Brockhoff 7.0 (9)32 (39)83 (99)838 (983)2.4e4 (2e4)∞∞2e60/15
RS-6 Brockhoff 4.5 (5)21 (26)180 (160)969 (1379)6908 (7671)∞∞2e60/15
SLSQP-scipy-2019 Varelas 2.1 (2)6.0 (4)14 (10)14 (10)14 (10)14 (10)14 (10)15/15
TNC-scipy-2019 Varelas 3.3 (3)10 (11)8.7 (10)8.7 (10)8.8 (10)8.7 (10)8.7 (10)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 6.1 (4)4.3 (6)4.0 (6)4.0 (5)4.0 (5)4.0 (5)4.1 (5)15/15

Δ fopt
f21, 2-D		 1e1
2.0		 1e0
51		 1e-1
174		 1e-2
276		 1e-3
290		 1e-5
324		 1e-7
330		 #succ
15/15
Adaptive-Two-Mode Bodner 15 (18)44 (70)62 (62)39 (39)38 (37)35 (33)35 (34)15/15
BFGS-scipy-2019 Varelas 3.2 (3)4.6 (6)4.8 (6)3.1 (4)2.9 (4)2.7 (3)2.7 (3)15/15
CG-scipy-2019 Varelas 3.7 (5)9.1 (17)6.0 (6)3.8 (4)3.6 (4)3.3 (3)3.5 (3)15/15
COBYLA-scipy-2019 Varelas 1.4 (0.8)15 (25)21 (35)14 (22)14 (22)13 (20)13 (19)15/15
DE-scipy-2019 Varelas 1.0 (0.5)1.2 (2)0.98 (1)0.83 (0.9)0.92 (1)1.1 (0.9)2.3 (2)15/15
GNN-CMA-ES Faury 1.1 (0.8)3.3 (5)2.8 (4)2.3 (5)2.2 (5)2.3 (5)2.4 (5)15/15
IPOP-CMA-ES-2019 Faury 1.3 (2)5.3 (5)7.3 (11)4.7 (7)4.8 (7)4.5 (6)4.7 (6)15/15
L-BFGS-B-scipy-2019 Varelas 2.0 (2)2.2 (2)1.6 (2)1.0 (2)1.0 (1)0.93 (1)0.96 (1)15/15
Nelder-Mead-scipy-2019 Varelas 2.5 (3)4.2 (6)8.1 (14)5.1 (9)4.9 (8)4.4 (7)4.3 (7)15/15
Powell-scipy-2019 Varelas 1.3 (1)23 (9)29 (68)18 (43)17 (41)15 (37)15 (36)15/15
RS-0p5-initIn0 Brockhoff 1.7 (2)∞∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 0.93 (0.8)∞∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 0.93 (0.8)2.5e5 (4e5)1.6e5 (1e5)∞∞∞∞2e60/15
RS-10-initIn0 Brockhoff 2.7 (2)5.6 (5)6.2 (6)17 (19)35 (31)288 (292)3530 (3340)6/15
RS-10 Brockhoff 4.2 (4)3.0 (3)6.7 (7)9.0 (12)30 (37)358 (403)3574 (4492)9/15
RS-1 Brockhoff 0.97 (0.8)2.5e5 (3e5)1.6e5 (3e5)∞∞∞∞2e60/15
RS-2-initIn0 Brockhoff 1.1 (1)6038 (2e4)7664 (1e4)1.4e4 (2e4)1.9e4 (3e4)2.5e4 (3e4)3.9e4 (4e4)2/15
RS-20-initIn0 Brockhoff 8.3 (14)15 (17)33 (38)50 (53)133 (149)1187 (543)1.2e4 (1e4)0/15
RS-20 Brockhoff 15 (12)18 (21)30 (36)33 (33)100 (137)1389 (862)1.2e4 (2e4)2/15
RS-2 Brockhoff 1.4 (2)6039 (2e4)7692 (1e4)1.4e4 (2e4)1.9e4 (4e4)2.5e4 (3e4)3.9e4 (4e4)2/15
RS-3-initIn0 Brockhoff 0.90 (0.5)0.80 (1)5.7 (14)1813 (3624)2513 (3449)3108 (3096)3228 (6211)10/15
RS-3 Brockhoff 1.3 (1)1.0 (0.6)4.1 (4)1814 (3624)2512 (3450)3106 (4647)3270 (4885)10/15
RS-4-initIn0 Brockhoff 1.0 (0.8)0.62 (0.6)0.76 (0.7)2.0 (2)4.7 (5)35 (25)542 (429)15/15
RS-5-initIn0 Brockhoff 1.2 (1)1.3 (2)1.9 (2)3.8 (3)6.4 (7)47 (43)786 (604)13/15
RS-6-initIn0 Brockhoff 1.7 (2)1.4 (2)1.8 (1)6.7 (7)15 (16)87 (96)952 (1280)12/15
RS-6 Brockhoff 1.0 (0.8)1.2 (1)0.78 (0.7)2.8 (2)8.8 (10)57 (80)877 (1042)13/15
SLSQP-scipy-2019 Varelas 2.1 (4)2.3 (2)1.8 (2)1.2 (1)1.1 (1)1.1 (0.9)1.2 (1)15/15
TNC-scipy-2019 Varelas 14 (14)12 (12)11 (8)7.0 (5)6.9 (5)6.6 (7)6.6 (6)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.3 (4)3.4 (6)2.6 (3)1.6 (2)1.6 (2)1.4 (1)1.4 (1)15/15

Δ fopt
f22, 2-D		 1e1
5.0		 1e0
27		 1e-1
168		 1e-2
218		 1e-3
249		 1e-5
289		 1e-7
306		 #succ
15/15
Adaptive-Two-Mode Bodner 14 (16)191 (88)338 (929)262 (721)231 (634)200 (548)191 (522)14/15
BFGS-scipy-2019 Varelas 8.5 (9)5.2 (7)2.8 (4)2.2 (3)2.0 (3)1.8 (2)2.1 (2)15/15
CG-scipy-2019 Varelas 7.4 (13)9.1 (16)3.4 (4)2.7 (3)2.4 (2)2.2 (2)2.7 (3)15/15
COBYLA-scipy-2019 Varelas 2.0 (4)44 (61)79 (45)63 (35)57 (29)53 (22)217 (262)3/15
DE-scipy-2019 Varelas 1.7 (3)1.9 (2)0.87 (1)0.88 (0.9)1.1 (0.7)1.6 (0.9)4.5 (3)15/15
GNN-CMA-ES Faury 1.1 (1)10 (11)4.7 (5)4.7 (9)9.2 (8)14 (36)13 (33)13/15
IPOP-CMA-ES-2019 Faury 1.0 (1)10 (20)12 (21)13 (16)15 (25)21 (37)20 (33)13/15
L-BFGS-B-scipy-2019 Varelas 5.4 (7)7.0 (8)3.9 (4)3.0 (3)2.7 (3)2.4 (2)2.3 (2)15/15
Nelder-Mead-scipy-2019 Varelas 7.5 (9)12 (14)3.7 (5)2.9 (4)2.6 (3)2.3 (3)2.2 (3)15/15
Powell-scipy-2019 Varelas 4.8 (5)140 (255)50 (76)39 (59)34 (52)29 (45)28 (42)15/15
RS-0p5-initIn0 Brockhoff 3.5e5 (4e5)3.0e5 (5e5)1.7e5 (2e5)1.3e5 (2e5)1.1e5 (2e5)9.7e4 (9e4)9.2e4 (6e4)1/15
RS-0p5 Brockhoff 3.5e5 (8e5)3.0e5 (4e5)1.7e5 (2e5)1.3e5 (2e5)1.1e5 (1e5)9.7e4 (9e4)9.2e4 (7e4)1/15
RS-1-initIn0 Brockhoff 2.9e4 (83)8.5e4 (1e5)3.3e4 (4e4)3.7e4 (2e4)5.2e4 (6e4)9.7e4 (1e5)9.2e4 (1e5)1/15
RS-10-initIn0 Brockhoff 4.9 (7)11 (12)4.8 (4)10 (9)23 (26)378 (556)5548 (4758)2/15
RS-10 Brockhoff 5.0 (5)7.1 (8)3.2 (3)8.6 (12)23 (35)283 (296)1739 (1691)7/15
RS-1 Brockhoff 2.9e4 (19)8.5e4 (7e4)3.3e4 (4e4)3.7e4 (3e4)5.2e4 (6e4)9.7e4 (8e4)9.2e4 (1e5)1/15
RS-2-initIn0 Brockhoff 0.84 (0.9)1.1e4 (4e4)4330 (5954)4594 (4615)5357 (6026)6083 (8689)7653 (6572)7/15
RS-20-initIn0 Brockhoff 12 (22)40 (35)21 (20)112 (155)248 (108)1305 (1338)2.0e4 (2e4)1/15
RS-20 Brockhoff 27 (20)38 (42)27 (56)80 (91)190 (206)1011 (866)1.2e4 (1e4)1/15
RS-2 Brockhoff 1.5 (1)1.1e4 (4e4)4332 (5958)4590 (4593)5357 (8034)6078 (6927)7623 (9821)7/15
RS-3-initIn0 Brockhoff 1.5 (2)0.98 (1)1832 (5953)2295 (4589)2922 (6025)2547 (5197)3699 (6528)10/15
RS-3 Brockhoff 2.1 (0.8)7.5 (4)1834 (5953)2295 (4588)2923 (4017)2558 (3475)3680 (4992)10/15
RS-4-initIn0 Brockhoff 1.2 (1)2.5 (3)1.2 (2)3.5 (2)4.7 (8)50 (58)441 (522)14/15
RS-5-initIn0 Brockhoff 1.9 (2)2.4 (2)1.3 (2)4.1 (6)11 (13)66 (100)442 (542)14/15
RS-6-initIn0 Brockhoff 1 (1)4.0 (3)2.1 (2)5.8 (7)8.3 (9)163 (163)1702 (2029)13/15
RS-6 Brockhoff 1.9 (3)3.5 (3)1.9 (2)6.1 (7)10 (10)91 (89)1017 (1339)12/15
SLSQP-scipy-2019 Varelas 6.3 (6)3.5 (3)1.4 (1)1.1 (1)1.00 (0.9)0.93 (0.8)0.96 (0.8)15/15
TNC-scipy-2019 Varelas 17 (16)25 (33)6.1 (6)4.9 (5)4.4 (4)4.0 (3)6.0 (5)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 17 (31)13 (23)3.4 (4)2.6 (3)2.3 (3)2.0 (2)2.0 (2)15/15

Δ fopt
f23, 2-D		 1e1
8.0		 1e0
193		 1e-1
234		 1e-2
263		 1e-3
299		 1e-5
348		 1e-7
379		 #succ
15/15
Adaptive-Two-Mode Bodner 4.5 (3)3.3 (4)13 (13)24 (23)43 (29)60 (82)66 (70)15/15
BFGS-scipy-2019 Varelas 37 (69)31 (42)171 (136)494 (542)1938 (3214)∞∞2e50/15
CG-scipy-2019 Varelas 17 (23)16 (18)201 (183)1449 (1017)∞∞∞2e50/15
COBYLA-scipy-2019 Varelas 1.3 (1)1.4 (1)29 (31)3362 (2749)∞∞∞2e50/15
DE-scipy-2019 Varelas 1.9 (3)7.1 (6)51 (89)164 (296)367 (644)676 (744)∞2e50/15
GNN-CMA-ES Faury 2.6 (3)4.2 (4)6.7 (4)7.0 (5)6.4 (5)6.0 (4)5.9 (4)15/15
IPOP-CMA-ES-2019 Faury 2.2 (2)4.6 (4)7.7 (7)7.2 (6)7.3 (7)6.7 (6)6.5 (6)15/15
L-BFGS-B-scipy-2019 Varelas 14 (25)11 (11)48 (56)96 (156)157 (178)1342 (2456)∞2e50/15
Nelder-Mead-scipy-2019 Varelas 2.7 (1)0.93 (1)0.85 (0.9)0.83 (0.8)0.79 (0.7)8580 (9914)∞2e50/15
Powell-scipy-2019 Varelas 1.7 (2)6.7 (6)49 (46)370 (415)493 (438)516 (816)474 (540)8/15
RS-0p5-initIn0 Brockhoff 1.6 (2)8.9 (8)664 (651)1.1e5 (2e5)∞∞∞2e60/15
RS-0p5 Brockhoff 3.1 (4)11 (11)1635 (2907)1.1e5 (1e5)∞∞∞2e60/15
RS-1-initIn0 Brockhoff 2.7 (4)10 (9)1546 (1864)∞∞∞∞2e60/15
RS-10-initIn0 Brockhoff 3.8 (5)34 (38)8107 (6106)∞∞∞∞2e60/15
RS-10 Brockhoff 2.5 (3)47 (37)5387 (4170)∞∞∞∞2e60/15
RS-1 Brockhoff 1.9 (3)10 (12)768 (903)∞∞∞∞2e60/15
RS-2-initIn0 Brockhoff 2.0 (2)12 (12)993 (1100)∞∞∞∞2e60/15
RS-20-initIn0 Brockhoff 16 (16)126 (109)3.9e4 (5e4)∞∞∞∞2e60/15
RS-20 Brockhoff 20 (15)96 (108)∞∞∞∞∞2e60/15
RS-2 Brockhoff 1.6 (2)10 (9)795 (571)1.1e5 (1e5)∞∞∞2e60/15
RS-3-initIn0 Brockhoff 1.9 (2)10 (11)1888 (1911)1.1e5 (1e5)∞∞∞2e60/15
RS-3 Brockhoff 1.9 (2)9.0 (9)1766 (2015)∞∞∞∞2e60/15
RS-4-initIn0 Brockhoff 2.4 (2)8.2 (10)1364 (1105)∞∞∞∞2e60/15
RS-5-initIn0 Brockhoff 2.2 (3)11 (10)1482 (1656)∞∞∞∞2e60/15
RS-6-initIn0 Brockhoff 1.4 (2)15 (18)2071 (2145)∞∞∞∞2e60/15
RS-6 Brockhoff 2.4 (2)8.3 (6)2607 (3858)1.1e5 (1e5)∞∞∞2e60/15
SLSQP-scipy-2019 Varelas 6684 (2034)7059 (1e4)1.7e4 (2e4)2.0e4 (2e4)1.7e4 (3e4)6.7e4 (9e4)∞7e50/15
TNC-scipy-2019 Varelas 14 (18)13 (11)221 (345)1522 (1578)9549 (6361)∞∞2e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.4 (8)0.86 (1)0.78 (1)0.77 (0.9)0.85 (0.9)8291 (8477)∞2e50/15

Δ fopt
f24, 2-D		 1e1
18		 1e0
857		 1e-1
8515		 1e-2
23399		 1e-3
24113		 1e-5
24721		 1e-7
24721		 #succ
5/15
Adaptive-Two-Mode Bodner 8.0 (8)81 (234)9.3 (24)4.6 (9)4.5 (8)4.4 (8)4.6 (8)13/15
BFGS-scipy-2019 Varelas 12 (14)15 (13)15 (14)20 (26)20 (20)19 (27)19 (21)5/15
CG-scipy-2019 Varelas 22 (41)24 (32)21 (21)40 (42)38 (43)37 (42)37 (55)3/15
COBYLA-scipy-2019 Varelas 9.4 (21)6.2 (8)13 (16)40 (23)122 (106)∞∞2e50/15
DE-scipy-2019 Varelas 1.0 (1)6.0 (5)3.3 (4)2.7 (3)2.6 (3)2.6 (2)2.6 (2)15/15
GNN-CMA-ES Faury 1.5 (1)8.0 (12)5.5 (7)5.9 (8)5.7 (6)5.6 (8)5.6 (3)2/15
IPOP-CMA-ES-2019 Faury 1.9 (2)18 (19)5.1 (5)5.7 (7)5.5 (6)5.4 (5)5.4 (8)2/15
L-BFGS-B-scipy-2019 Varelas 4.0 (7)4.6 (7)2.9 (3)5.1 (6)5.0 (5)4.9 (5)4.9 (5)11/15
Nelder-Mead-scipy-2019 Varelas 6.6 (7)5.0 (7)5.1 (8)12 (12)11 (12)11 (15)∞2e50/15
Powell-scipy-2019 Varelas 2.2 (5)52 (82)19 (18)22 (11)21 (27)21 (28)21 (28)5/15
RS-0p5-initIn0 Brockhoff 8.7 (13)∞∞∞∞∞∞2e60/15
RS-0p5 Brockhoff 4.9 (4)∞∞∞∞∞∞2e60/15
RS-1-initIn0 Brockhoff 2.7 (2)982 (1797)∞∞∞∞∞2e60/15
RS-10-initIn0 Brockhoff 6.5 (10)62 (60)579 (720)∞∞∞∞2e60/15
RS-10 Brockhoff 4.1 (6)88 (108)345 (407)∞∞∞∞2e60/15
RS-1 Brockhoff 2.1 (2)959 (1392)∞∞∞∞∞2e60/15
RS-2-initIn0 Brockhoff 1.6 (1)1.4 (1)30 (45)168 (202)1185 (1763)∞∞2e60/15
RS-20-initIn0 Brockhoff 30 (34)257 (245)∞∞∞∞∞2e60/15
RS-20 Brockhoff 23 (27)395 (458)1625 (1557)∞∞∞∞2e60/15
RS-2 Brockhoff 0.97 (0.9)3.4 (3)20 (26)201 (194)∞∞∞2e60/15
RS-3-initIn0 Brockhoff 1.2 (1)7.9 (12)47 (53)1218 (1752)∞∞∞2e60/15
RS-3 Brockhoff 1.7 (3)4.9 (5)50 (71)∞∞∞∞2e60/15
RS-4-initIn0 Brockhoff 1.6 (2)10 (14)74 (112)372 (299)∞∞∞2e60/15
RS-5-initIn0 Brockhoff 1.4 (1)19 (15)128 (96)1271 (1261)∞∞∞2e60/15
RS-6-initIn0 Brockhoff 3.6 (5)21 (19)145 (164)1260 (1432)∞∞∞2e60/15
RS-6 Brockhoff 3.6 (6)27 (20)170 (168)287 (252)1210 (995)∞∞2e60/15
SLSQP-scipy-2019 Varelas 4.4 (6)4.4 (6)5.1 (5)7.0 (9)6.8 (7)6.6 (7)6.6 (5)11/15
TNC-scipy-2019 Varelas 8.7 (13)10 (14)20 (23)14 (22)14 (14)13 (14)13 (14)7/15
adapt-Nelder-Mead-scipy-2019 Varelas 4.2 (4)6.5 (6)6.0 (5)5.6 (6)5.4 (8)5.3 (6)∞2e50/15

Previous dimension | Dimension = 3 | Next dimension

Δ fopt
f1, 3-D		 1e1
4.0		 1e0
8.0		 1e-1
8.0		 1e-2
8.0		 1e-3
8.0		 1e-5
8.0		 1e-7
8.0		 #succ
15/15
Adaptive-Two-Mode Bodner 37 (39)45 (33)83 (69)129 (89)171 (105)263 (159)403 (206)15/15
BFGS-scipy-2019 Varelas 3.5 (0.6)2.1 (0)2.1 (0)2.1 (0)2.2 (0)2.2 (0)2.2 (0)15/15
CG-scipy-2019 Varelas 2.5 (1)1.7 (0.6)2.2 (0.6)2.2 (0.6)2.2 (0.6)2.2 (0.6)2.2 (0.6)15/15
COBYLA-scipy-2019 Varelas 1.8 (1)1.3 (0.4)2.0 (0.4)2.9 (0.6)3.7 (0.8)5.3 (0.8)7.3 (1)15/15
DE-scipy-2019 Varelas 1.8 (2)13 (9)32 (15)45 (14)46 (14)46 (14)46 (14)15/15
GNN-CMA-ES Faury 3.5 (5)6.5 (4)12 (5)18 (5)24 (7)36 (7)48 (7)15/15
IPOP-CMA-ES-2019 Faury 3.0 (4)5.8 (4)10 (5)16 (6)22 (6)32 (6)45 (8)15/15
L-BFGS-B-scipy-2019 Varelas 1.7 (1)1.2 (0)1.2 (0)1.2 (0)1.2 (0)1.2 (0)1.2 (0)15/15
Nelder-Mead-scipy-2019 Varelas 6.3 (6)7.2 (3)8.7 (3)11 (3)12 (3)15 (3)18 (3)15/15
Powell-scipy-2019 Varelas 2.4 (2)2.3 (1)3.0 (0.6)3.1 (0.2)3.1 (0.2)3.2 (0.2)3.6 (0.3)15/15
RS-0p5-initIn0 Brockhoff 3.0e6 (3e6)5.3e6 (3e6)∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 3.0e6 (4e6)5.3e6 (6e6)∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 3.8e5 (6e5)5.3e6 (6e6)5.3e6 (6e6)∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 15 (12)190 (147)7184 (7161)2.2e5 (3e5)∞∞∞3e60/15
RS-10 Brockhoff 16 (18)423 (554)1.1e4 (1e4)2.4e5 (2e5)2.5e6 (3e6)∞∞3e60/15
RS-1 Brockhoff 3.8e5 (4e5)5.3e6 (8e6)5.3e6 (4e6)∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 5.4e4 (284)1.5e6 (1e6)2.4e6 (2e6)2.4e6 (3e6)2.5e6 (2e6)∞∞3e60/15
RS-20-initIn0 Brockhoff 65 (73)2248 (2028)4.9e4 (4e4)1.1e6 (1e6)∞∞∞3e60/15
RS-20 Brockhoff 153 (133)1227 (896)5.1e4 (5e4)1.8e6 (1e6)∞∞∞3e60/15
RS-2 Brockhoff 5.4e4 (170)1.5e6 (2e6)2.4e6 (4e6)2.4e6 (2e6)2.4e6 (3e6)∞∞3e60/15
RS-3-initIn0 Brockhoff 5.0 (7)9.5e4 (2e5)7.5e5 (9e5)1.5e6 (1e6)1.6e6 (2e6)∞∞3e60/15
RS-3 Brockhoff 3.5 (5)9.4e4 (2e5)7.5e5 (1e6)1.5e6 (1e6)2.5e6 (3e6)∞∞3e60/15
RS-4-initIn0 Brockhoff 1.9 (2)25 (37)530 (623)2.0e4 (2e4)7.1e5 (9e5)∞∞3e60/15
RS-5-initIn0 Brockhoff 2.0 (3)21 (29)1280 (1496)2.9e4 (4e4)5.9e5 (6e5)∞∞3e60/15
RS-6-initIn0 Brockhoff 2.2 (3)54 (59)1744 (2370)6.6e4 (1e5)5.5e6 (8e6)∞∞3e60/15
RS-6 Brockhoff 3.3 (5)43 (50)1494 (1764)3.4e4 (4e4)5.3e6 (5e6)∞∞3e60/15
SLSQP-scipy-2019 Varelas 1.9 (0)1 (0)1 (0)★41 (0)★41 (0)★41 (0)★41 (0)★415/15
TNC-scipy-2019 Varelas 4.8 (4)6.3 (4)9.4 (5)12 (6)15 (8)25 (10)58 (37)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 6.6 (7)6.9 (4)9.2 (4)12 (3)14 (3)18 (4)21 (4)15/15

Δ fopt
f2, 3-D		 1e1
38		 1e0
42		 1e-1
43		 1e-2
44		 1e-3
45		 1e-5
47		 1e-7
48		 #succ
15/15
Adaptive-Two-Mode Bodner 49 (42)58 (39)74 (60)120 (78)150 (105)426 (351)719 (565)15/15
BFGS-scipy-2019 Varelas 1.8 (0.9)1.8 (0.7)1.9 (0.8)2.2 (1.0)2.5 (1)2.7 (1)3.0 (1)15/15
CG-scipy-2019 Varelas 12 (14)33 (30)73 (72)126 (103)192 (209)691 (772)5570 (7692)6/15
COBYLA-scipy-2019 Varelas 1118 (911)5.0e4 (5e4)∞∞∞∞∞3e50/15
DE-scipy-2019 Varelas 14 (4)17 (3)21 (3)28 (14)48 (28)65 (46)82 (72)15/15
GNN-CMA-ES Faury 20 (26)39 (43)54 (54)67 (74)70 (72)70 (70)71 (69)15/15
IPOP-CMA-ES-2019 Faury 7.8 (3)10 (2)11 (2)11 (2)12 (1)14 (1)15 (1)15/15
L-BFGS-B-scipy-2019 Varelas 2.4 (1)3.0 (2)3.7 (2)4.1 (2)4.5 (1)4.8 (1)5.3 (1)15/15
Nelder-Mead-scipy-2019 Varelas 5.2 (3)6.0 (2)6.6 (2)6.7 (2)6.8 (2)7.1 (2)7.4 (2)15/15
Powell-scipy-2019 Varelas 1.3 (0.5)1.2 (0.5)1.3 (0.4)1.5 (0.3)1.6 (0.2)1.7 (0.4)2.2 (0.4)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 3.7e4 (3e4)∞∞∞∞∞∞3e60/15
RS-10 Brockhoff 5.5e4 (4e4)1.0e6 (2e6)∞∞∞∞∞3e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 1.1e6 (1e6)∞∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 3.6e5 (2e5)1.0e6 (1e6)∞∞∞∞∞3e60/15
RS-20 Brockhoff 1.3e5 (1e5)1.1e6 (1e6)∞∞∞∞∞3e60/15
RS-2 Brockhoff 1.1e6 (9e5)∞∞∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 5.4e4 (8e4)2.2e5 (2e5)∞∞∞∞∞3e60/15
RS-3 Brockhoff 5.4e4 (1e5)1.1e5 (9e4)1.0e6 (1e6)∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 2460 (3138)7.1e4 (9e4)∞∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 7264 (5451)1.0e5 (1e5)∞∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 1.3e4 (2e4)3.2e5 (3e5)∞∞∞∞∞3e60/15
RS-6 Brockhoff 1.4e4 (8384)4.9e5 (5e5)∞∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 1.1 (0.2)1.1 (0.2)1.2 (0.2)1.3 (0.3)1.5 (0.4)1.8 (0.5)2.1 (0.8)15/15
TNC-scipy-2019 Varelas 6.1 (3)11 (11)17 (20)35 (44)41 (42)43 (43)77 (70)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 5.6 (6)5.9 (5)6.3 (4)6.5 (4)7.1 (4)7.5 (4)8.0 (4)15/15

Δ fopt
f3, 3-D		 1e1
38		 1e0
822		 1e-1
830		 1e-2
835		 1e-3
842		 1e-5
847		 1e-7
853		 #succ
15/15
Adaptive-Two-Mode Bodner 29 (15)8.5 (8)17 (13)17 (13)18 (12)19 (12)22 (15)15/15
BFGS-scipy-2019 Varelas 59 (66)21 (15)180 (187)179 (232)177 (204)176 (181)175 (181)13/15
CG-scipy-2019 Varelas 110 (190)69 (94)372 (314)369 (343)366 (380)364 (368)362 (320)10/15
COBYLA-scipy-2019 Varelas 7.9 (10)6.4 (7)40 (57)40 (57)40 (56)73 (91)∞3e50/15
DE-scipy-2019 Varelas 6.5 (3)1.4 (0.6)2.7 (2)2.8 (2)2.8 (2)2.8 (2)8.0 (14)15/15
GNN-CMA-ES Faury 7.4 (11)3.8 (3)14 (23)14 (21)15 (27)15 (18)15 (20)13/15
IPOP-CMA-ES-2019 Faury 7.4 (11)3.3 (5)10 (11)10 (11)10 (12)10 (12)10 (12)14/15
L-BFGS-B-scipy-2019 Varelas 55 (43)23 (25)236 (253)234 (309)232 (250)231 (237)229 (206)12/15
Nelder-Mead-scipy-2019 Varelas 74 (91)66 (76)297 (401)295 (295)292 (278)291 (293)∞3e50/15
Powell-scipy-2019 Varelas 5.4 (6)1.3 (2)7.4 (9)7.4 (8)7.4 (8)7.4 (8)7.3 (8)15/15
RS-0p5-initIn0 Brockhoff 1.6e5 (3e5)∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 1.6e5 (2e5)∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 9.0e4 (1e5)5.1e4 (5e4)5.1e4 (4e4)∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 519 (526)5.3e4 (5e4)∞∞∞∞∞3e60/15
RS-10 Brockhoff 426 (484)1.6e4 (2e4)∞∞∞∞∞3e60/15
RS-1 Brockhoff 9.0e4 (1e5)5.1e4 (8e4)5.1e4 (4e4)∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 1.3e4 (4e4)2.4e4 (5e4)5.1e4 (5e4)∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 3484 (3285)∞∞∞∞∞∞3e60/15
RS-20 Brockhoff 5415 (5743)5.3e4 (8e4)5.3e4 (6e4)∞∞∞∞3e60/15
RS-2 Brockhoff 1.2e4 (4e4)2.4e4 (3e4)5.2e4 (4e4)∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 5712 (353)1798 (2843)∞∞∞∞∞3e60/15
RS-3 Brockhoff 5672 (51)2153 (2705)∞∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 48 (40)2578 (2622)∞∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 66 (66)4408 (3056)5.4e4 (6e4)∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 80 (65)8983 (7954)∞∞∞∞∞3e60/15
RS-6 Brockhoff 95 (183)8412 (1e4)∞∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 31 (24)10 (10)74 (80)74 (79)73 (78)73 (78)72 (77)15/15
TNC-scipy-2019 Varelas 149 (232)119 (98)1211 (1379)1204 (727)1194 (1330)1187 (1127)2550 (3128)1/15
adapt-Nelder-Mead-scipy-2019 Varelas 88 (79)47 (44)309 (320)307 (343)305 (378)303 (263)∞3e50/15

Δ fopt
f4, 3-D		 1e1
40		 1e0
808		 1e-1
866		 1e-2
921		 1e-3
952		 1e-5
1015		 1e-7
1044		 #succ
15/15
Adaptive-Two-Mode Bodner 25 (16)8.2 (7)21 (20)20 (18)19 (18)19 (17)22 (18)15/15
BFGS-scipy-2019 Varelas 73 (83)66 (50)302 (363)284 (507)275 (330)258 (276)251 (432)10/15
CG-scipy-2019 Varelas 140 (129)214 (186)700 (624)658 (504)636 (568)597 (658)581 (528)6/15
COBYLA-scipy-2019 Varelas 8.2 (7)17 (18)143 (131)135 (123)766 (579)∞∞3e50/15
DE-scipy-2019 Varelas 10 (5)2.1 (1)8.2 (4)7.9 (4)7.7 (4)7.9 (5)32 (63)12/15
GNN-CMA-ES Faury 12 (16)56 (68)∞∞∞∞∞3e40/15
IPOP-CMA-ES-2019 Faury 4.8 (3)531 (551)∞∞∞∞∞3e40/15
L-BFGS-B-scipy-2019 Varelas 64 (82)60 (69)416 (469)391 (400)378 (256)355 (434)345 (333)9/15
Nelder-Mead-scipy-2019 Varelas 71 (93)20 (20)214 (336)201 (246)195 (275)183 (211)∞3e50/15
Powell-scipy-2019 Varelas 3.4 (7)1.3 (1)6.3 (6)6.0 (6)5.8 (6)5.5 (5)5.4 (5)15/15
RS-0p5-initIn0 Brockhoff 1.5e5 (2e5)∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 1.6e5 (2e5)∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 8.6e4 (8e4)5.2e4 (7e4)4.9e4 (5e4)∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 2251 (2755)∞∞∞∞∞∞3e60/15
RS-10 Brockhoff 2607 (3113)∞∞∞∞∞∞3e60/15
RS-1 Brockhoff 8.6e4 (1e5)5.2e4 (5e4)5.0e4 (5e4)∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 1.2e4 (4e4)2.6e4 (2e4)∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 1.2e4 (1e4)∞∞∞∞∞∞3e60/15
RS-20 Brockhoff 1.4e4 (1e4)2.7e4 (2e4)∞∞∞∞∞3e60/15
RS-2 Brockhoff 1.4e4 (4e4)2.4e4 (3e4)∞∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 5405 (83)6849 (6483)∞∞∞∞∞3e60/15
RS-3 Brockhoff 5534 (642)5729 (4060)∞∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 179 (150)1.2e4 (1e4)∞∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 180 (157)5.3e4 (6e4)∞∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 263 (269)1.8e4 (1e4)∞∞∞∞∞3e60/15
RS-6 Brockhoff 358 (578)1.6e4 (2e4)∞∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 34 (48)51 (61)484 (374)455 (568)440 (563)413 (574)402 (513)8/15
TNC-scipy-2019 Varelas 180 (197)203 (246)1582 (1607)1487 (1976)1439 (1915)1350 (1596)∞3e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 58 (48)35 (68)143 (146)135 (138)130 (133)122 (125)4082 (5244)0/15

Δ fopt
f5, 3-D		 1e1
7.0		 1e0
7.0		 1e-1
7.0		 1e-2
7.0		 1e-3
7.0		 1e-5
7.0		 1e-7
7.0		 #succ
15/15
Adaptive-Two-Mode Bodner 19 (13)36 (43)39 (43)40 (43)40 (43)40 (43)40 (43)15/15
BFGS-scipy-2019 Varelas 2.6 (0.4)3.6 (1)4.0 (0.7)4.0 (0.7)4.0 (0.7)4.0 (0.7)4.0 (0.7)15/15
CG-scipy-2019 Varelas 2.5 (0.4)3.6 (1)3.9 (0.7)3.9 (0.7)3.9 (0.7)3.9 (0.7)3.9 (0.7)15/15
COBYLA-scipy-2019 Varelas 1.8 (0.3)2.7 (0.9)2.9 (0.9)2.9 (0.9)2.9 (0.9)2.9 (0.9)2.9 (0.9)15/15
DE-scipy-2019 Varelas 13 (9)69 (18)120 (63)135 (84)135 (84)135 (84)135 (84)15/15
GNN-CMA-ES Faury 4.1 (4)5.6 (4)5.9 (4)5.9 (4)5.9 (4)5.9 (4)5.9 (4)15/15
IPOP-CMA-ES-2019 Faury 3.8 (2)5.2 (2)5.5 (2)5.6 (2)5.6 (2)5.6 (2)5.6 (2)15/15
L-BFGS-B-scipy-2019 Varelas 2.0 (0.6)2.8 (0.6)3.1 (0.6)3.1 (0.6)3.1 (0.6)3.1 (0.6)3.1 (0.6)15/15
Nelder-Mead-scipy-2019 Varelas 6.1 (3)9.2 (12)9.4 (12)9.4 (12)9.4 (12)9.4 (12)9.4 (12)15/15
Powell-scipy-2019 Varelas 5.1 (0.2)5.1 (0.2)5.1 (0.2)5.1 (0.2)5.1 (0.2)5.1 (0.2)5.1 (0.2)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 2.3 (2)6.6 (8)6.8 (8)7.3 (8)7.3 (8)7.3 (8)7.3 (8)15/15
RS-10 Brockhoff 1.3 (2)4.7 (7)6.0 (8)6.0 (8)6.0 (8)6.0 (8)6.0 (8)15/15
RS-1 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 1.3 (2)2.1 (2)2.1 (2)2.1 (2)2.1 (2)2.1 (2)2.1 (2)15/15
RS-20 Brockhoff 0.75 (0.4)2.7 (3)2.7 (3)2.7 (3)2.7 (3)2.7 (3)2.7 (3)15/15
RS-2 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-3 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 25 (28)3.0e4 (3e4)∞∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 6.5 (9)130 (142)302 (290)327 (403)327 (403)327 (403)327 (403)15/15
RS-6 Brockhoff 7.0 (11)59 (64)172 (232)172 (232)172 (232)172 (232)172 (232)15/15
SLSQP-scipy-2019 Varelas 1.6 (0.4)2.4 (0.7)2.5 (0.7)2.5 (0.7)2.5 (0.7)2.5 (0.7)2.5 (0.7)15/15
TNC-scipy-2019 Varelas 3.4 (2)5.3 (3)5.7 (3)5.7 (3)5.7 (3)5.7 (3)5.7 (3)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 9.0 (4)11 (4)11 (4)11 (4)11 (4)11 (4)11 (4)15/15

Δ fopt
f6, 3-D		 1e1
34		 1e0
56		 1e-1
90		 1e-2
117		 1e-3
149		 1e-5
215		 1e-7
265		 #succ
15/15
Adaptive-Two-Mode Bodner 28 (26)26 (18)24 (14)24 (14)23 (11)25 (9)32 (13)15/15
BFGS-scipy-2019 Varelas 3.9 (3)4.3 (2)3.5 (2)3.3 (2)3.0 (2)2.8 (1)4.3 (4)15/15
CG-scipy-2019 Varelas 3.6 (3)4.8 (2)5.2 (3)5.5 (2)5.5 (2)5.7 (2)12 (9)15/15
COBYLA-scipy-2019 Varelas 170 (354)353 (557)1040 (1698)1723 (1997)2140 (4687)1762 (2241)∞3e50/15
DE-scipy-2019 Varelas 3.0 (2)6.5 (3)8.5 (2)10 (3)10 (4)11 (6)44 (49)15/15
GNN-CMA-ES Faury 2.3 (2)3.6 (2)3.3 (0.9)3.4 (1)3.3 (0.9)3.0 (0.7)3.2 (0.7)15/15
IPOP-CMA-ES-2019 Faury 2.9 (2)3.7 (2)3.1 (1)3.3 (1)3.0 (0.7)3.0 (0.6)3.1 (0.5)15/15
L-BFGS-B-scipy-2019 Varelas 2.3 (2)3.2 (3)3.0 (3)2.7 (2)2.4 (1)2.4 (1)2.5 (1)15/15
Nelder-Mead-scipy-2019 Varelas 2.5 (3)2.6 (2)2.1 (2)2.0 (1)1.9 (0.9)1.7 (0.7)7.1 (5)13/15
Powell-scipy-2019 Varelas 4.0 (3)6.0 (7)4.5 (4)3.9 (3)3.4 (2)2.8 (2)3.4 (1)15/15
RS-0p5-initIn0 Brockhoff 1.2e6 (8e5)∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 1.2e6 (1e6)∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 1.2e6 (2e6)7.5e5 (1e6)4.7e5 (5e5)3.6e5 (3e5)2.9e5 (3e5)∞∞3e60/15
RS-10-initIn0 Brockhoff 55 (51)1660 (1903)3.8e4 (4e4)∞∞∞∞3e60/15
RS-10 Brockhoff 56 (61)1010 (1661)5.4e4 (4e4)3.6e5 (4e5)∞∞∞3e60/15
RS-1 Brockhoff 1.2e6 (2e6)7.5e5 (9e5)4.7e5 (5e5)3.6e5 (3e5)2.9e5 (4e5)∞∞3e60/15
RS-2-initIn0 Brockhoff 2.4e5 (3e5)7.5e5 (9e5)4.7e5 (5e5)3.7e5 (4e5)∞∞∞3e60/15
RS-20-initIn0 Brockhoff 339 (275)1.4e4 (1e4)8.1e4 (7e4)∞∞∞∞3e60/15
RS-20 Brockhoff 550 (752)1.3e4 (1e4)1.5e5 (2e5)∞∞∞∞3e60/15
RS-2 Brockhoff 2.4e5 (3e5)7.5e5 (1e6)4.7e5 (6e5)3.8e5 (4e5)∞∞∞3e60/15
RS-3-initIn0 Brockhoff 5.9e4 (1e5)2.2e5 (2e5)2.2e5 (2e5)3.6e5 (3e5)∞∞∞3e60/15
RS-3 Brockhoff 5.9e4 (2e5)2.1e5 (2e5)2.2e5 (4e5)3.6e5 (4e5)∞∞∞3e60/15
RS-4-initIn0 Brockhoff 23 (53)147 (163)1625 (1416)1.1e5 (9e4)∞∞∞3e60/15
RS-5-initIn0 Brockhoff 11 (11)149 (191)5376 (8667)1.8e5 (2e5)∞∞∞3e60/15
RS-6-initIn0 Brockhoff 9.4 (6)269 (329)9062 (7660)3.7e5 (4e5)∞∞∞3e60/15
RS-6 Brockhoff 9.0 (10)400 (342)6508 (7258)∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 5.8 (4)4.4 (3)3.4 (2)3.0 (2)2.5 (1)2.2 (0.7)2.3 (1)15/15
TNC-scipy-2019 Varelas 5.4 (4)8.9 (6)8.8 (7)11 (7)13 (11)22 (20)216 (194)8/15
adapt-Nelder-Mead-scipy-2019 Varelas 4.3 (3)3.0 (2)2.4 (2)2.2 (1)2.0 (1.0)2.0 (1)6.5 (10)14/15

Δ fopt
f7, 3-D		 1e1
11		 1e0
65		 1e-1
342		 1e-2
464		 1e-3
482		 1e-5
482		 1e-7
535		 #succ
15/15
Adaptive-Two-Mode Bodner 16 (16)13 (10)6.4 (7)6.3 (6)7.8 (7)7.8 (7)7.8 (6)15/15
BFGS-scipy-2019 Varelas 14 (13)97 (97)452 (644)∞∞∞∞3e50/15
CG-scipy-2019 Varelas 26 (30)63 (39)353 (397)9413 (8890)∞∞∞3e50/15
COBYLA-scipy-2019 Varelas 4.9 (5)6.1 (6)8.1 (13)127 (226)272 (246)272 (246)245 (222)14/15
DE-scipy-2019 Varelas 3.6 (4)3.3 (1)1.6 (0.6)33 (80)89 (130)89 (130)160 (290)10/15
GNN-CMA-ES Faury 2.3 (2)1.2 (0.6)1.3 (1)1.3 (1)1.3 (1)1.3 (1)1.3 (1)15/15
IPOP-CMA-ES-2019 Faury 3.8 (3)2.5 (3)0.79 (0.6)0.76 (0.6)0.78 (0.6)0.78 (0.6)0.77 (0.6)15/15
L-BFGS-B-scipy-2019 Varelas 16 (15)124 (106)276 (281)∞∞∞∞3e50/15
Nelder-Mead-scipy-2019 Varelas 165 (125)150 (147)302 (165)681 (455)978 (1256)978 (854)881 (1363)7/15
Powell-scipy-2019 Varelas 17 (27)24 (24)13 (14)101 (174)143 (274)143 (274)155 (247)14/15
RS-0p5-initIn0 Brockhoff 1.1e6 (1e6)1.8e5 (2e5)1.2e5 (2e5)9.1e4 (1e5)8.7e4 (1e5)8.7e4 (9e4)7.9e4 (9e4)0/15
RS-0p5 Brockhoff 1.1e6 (1e6)1.8e5 (2e5)1.2e5 (2e5)9.1e4 (2e5)8.7e4 (7e4)8.7e4 (1e5)7.9e4 (8e4)0/15
RS-1-initIn0 Brockhoff 5.5e5 (7e5)1.8e5 (3e5)5.7e4 (5e4)4.2e4 (6e4)4.1e4 (4e4)4.1e4 (5e4)3.7e4 (5e4)2/15
RS-10-initIn0 Brockhoff 23 (26)120 (119)1681 (1366)1.0e4 (1e4)2.0e4 (3e4)2.0e4 (2e4)∞3e60/15
RS-10 Brockhoff 20 (22)115 (128)1297 (1644)1.9e4 (3e4)8.7e4 (7e4)8.7e4 (9e4)∞3e60/15
RS-1 Brockhoff 5.5e5 (7e5)1.8e5 (1e5)5.7e4 (5e4)4.2e4 (5e4)4.1e4 (6e4)4.1e4 (4e4)3.7e4 (4e4)2/15
RS-2-initIn0 Brockhoff 6.8e4 (2e5)4.0e4 (5e4)1.3e4 (2e4)1.8e4 (2e4)1.8e4 (2e4)1.8e4 (3e4)1.8e4 (2e4)1/15
RS-20-initIn0 Brockhoff 216 (235)1392 (1781)1.1e4 (2e4)9.6e4 (5e4)∞∞∞3e60/15
RS-20 Brockhoff 250 (364)1231 (1409)1.1e4 (1e4)∞∞∞∞3e60/15
RS-2 Brockhoff 6.8e4 (2e5)4.0e4 (5e4)1.3e4 (2e4)1.8e4 (2e4)1.8e4 (3e4)1.8e4 (2e4)1.7e4 (2e4)1/15
RS-3-initIn0 Brockhoff 15 (37)8057 (2e4)5891 (6632)6281 (9747)8001 (1e4)8001 (7938)1.4e4 (1e4)0/15
RS-3 Brockhoff 13 (35)8197 (2e4)5921 (8773)6187 (6515)8756 (1e4)8756 (8040)1.4e4 (2e4)2/15
RS-4-initIn0 Brockhoff 3.4 (6)16 (21)101 (154)2851 (3658)7020 (5636)7020 (7242)3.9e4 (4e4)0/15
RS-5-initIn0 Brockhoff 5.1 (9)23 (29)144 (148)4762 (3848)1.3e4 (1e4)1.3e4 (1e4)7.9e4 (7e4)0/15
RS-6-initIn0 Brockhoff 7.1 (8)45 (58)359 (306)5009 (7902)9927 (9642)9927 (1e4)8.4e4 (8e4)0/15
RS-6 Brockhoff 6.8 (6)36 (42)207 (230)6487 (6290)2.6e4 (2e4)2.6e4 (2e4)7.9e4 (1e5)0/15
SLSQP-scipy-2019 Varelas 24 (34)136 (127)414 (453)9546 (1e4)9190 (8714)9190 (8247)8279 (7991)1/15
TNC-scipy-2019 Varelas 32 (36)112 (83)1477 (1500)9562 (9375)∞∞∞3e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 138 (136)455 (564)360 (514)2019 (1940)9158 (1e4)9158 (1e4)8251 (8972)1/15

Δ fopt
f8, 3-D		 1e1
27		 1e0
45		 1e-1
152		 1e-2
179		 1e-3
188		 1e-5
198		 1e-7
208		 #succ
15/15
Adaptive-Two-Mode Bodner 13 (14)40 (24)54 (98)85 (138)138 (251)310 (442)520 (537)15/15
BFGS-scipy-2019 Varelas 3.0 (3)3.7 (3)1.4 (0.9)1.4 (0.8)1.4 (0.7)1.4 (0.7)1.3 (0.7)15/15
CG-scipy-2019 Varelas 1.5 (0.6)2.9 (2)1.6 (0.6)1.7 (0.6)1.9 (0.6)2.3 (0.6)2.4 (0.7)15/15
COBYLA-scipy-2019 Varelas 0.61 (0.2)★↑0174 (249)96 (142)1112 (1277)6982 (6833)∞∞3e50/15
DE-scipy-2019 Varelas 8.3 (4)13 (5)6.0 (1)6.5 (1)6.3 (1)6.4 (2)6.1 (2)15/15
GNN-CMA-ES Faury 2.9 (1)5.0 (4)2.7 (2)3.1 (1)3.3 (1)3.7 (1)4.0 (1)15/15
IPOP-CMA-ES-2019 Faury 3.2 (1)6.5 (8)3.5 (2)3.7 (2)3.8 (2)4.1 (2)4.4 (2)15/15
L-BFGS-B-scipy-2019 Varelas 1.2 (0.6)2.0 (2)0.86 (0.5)0.86 (0.4)0.87 (0.4)0.88 (0.4)0.87 (0.4)15/15
Nelder-Mead-scipy-2019 Varelas 2.7 (1)3.4 (2)1.5 (0.8)1.4 (0.7)1.4 (0.6)1.5 (0.6)1.5 (0.6)15/15
Powell-scipy-2019 Varelas 2.5 (2)5.9 (9)3.0 (4)3.0 (3)3.3 (3)3.3 (3)3.3 (3)15/15
RS-0p5-initIn0 Brockhoff 7.2e5 (8e5)4.3e5 (6e5)2.8e5 (3e5)2.4e5 (3e5)∞∞∞3e60/15
RS-0p5 Brockhoff 7.2e5 (8e5)4.3e5 (7e5)2.8e5 (3e5)2.3e5 (3e5)∞∞∞3e60/15
RS-1-initIn0 Brockhoff 7.2e5 (6e5)4.3e5 (5e5)1.3e5 (1e5)2.4e5 (2e5)2.3e5 (3e5)∞∞3e60/15
RS-10-initIn0 Brockhoff 320 (307)1.1e4 (7322)6.5e4 (7e4)∞∞∞∞3e60/15
RS-10 Brockhoff 372 (536)1.6e4 (2e4)8.9e4 (8e4)∞∞∞∞3e60/15
RS-1 Brockhoff 7.2e5 (9e5)4.3e5 (5e5)1.3e5 (2e5)2.4e5 (2e5)2.3e5 (2e5)∞∞3e60/15
RS-2-initIn0 Brockhoff 2.8e4 (6e4)3.0e4 (5e4)2.0e4 (3e4)7.3e4 (7e4)∞∞∞3e60/15
RS-20-initIn0 Brockhoff 5055 (6706)1.1e5 (1e5)∞∞∞∞∞3e60/15
RS-20 Brockhoff 3454 (3257)6.6e4 (6e4)2.8e5 (1e5)∞∞∞∞3e60/15
RS-2 Brockhoff 2.8e4 (6e4)3.3e4 (3e4)2.3e4 (3e4)4.1e4 (7e4)∞∞∞3e60/15
RS-3-initIn0 Brockhoff 26 (38)304 (219)2621 (2772)5.4e4 (9e4)∞∞∞3e60/15
RS-3 Brockhoff 19 (15)264 (244)1742 (1351)5.2e4 (5e4)∞∞∞3e60/15
RS-4-initIn0 Brockhoff 19 (19)542 (622)4977 (6005)∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 54 (71)1413 (1968)1.0e4 (1e4)2.4e5 (3e5)∞∞∞3e60/15
RS-6-initIn0 Brockhoff 90 (102)1284 (1294)1.7e4 (1e4)1.1e5 (8e4)∞∞∞3e60/15
RS-6 Brockhoff 132 (190)2746 (4676)4.8e4 (4e4)∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 1.9 (0.9)3.2 (3)1.2 (1.0)1.2 (0.8)1.2 (0.7)1.2 (0.7)1.1 (0.7)15/15
TNC-scipy-2019 Varelas 3.3 (3)11 (15)5.8 (5)6.3 (5)7.0 (5)7.7 (4)19 (15)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 2.8 (2)4.8 (3)1.8 (0.7)1.7 (0.6)1.7 (0.6)1.8 (0.6)1.9 (0.6)15/15

Δ fopt
f9, 3-D		 1e1
21		 1e0
65		 1e-1
127		 1e-2
149		 1e-3
159		 1e-5
169		 1e-7
178		 #succ
15/15
Adaptive-Two-Mode Bodner 1.1 (0.9)3.8 (4)16 (9)43 (29)70 (64)155 (192)330 (349)15/15
BFGS-scipy-2019 Varelas 2.9 (1)2.4 (2)1.6 (0.8)1.6 (0.7)1.6 (0.7)1.5 (0.6)1.5 (0.6)15/15
CG-scipy-2019 Varelas 2.3 (1)2.2 (1)2.1 (0.9)2.2 (0.9)2.4 (0.7)2.7 (1)2.8 (1)15/15
COBYLA-scipy-2019 Varelas 1.1 (0.5)17 (5)25 (26)1141 (897)3946 (4388)1.2e4 (1e4)∞3e50/15
DE-scipy-2019 Varelas 12 (6)10 (6)7.4 (2)7.5 (2)7.1 (2)6.8 (2)6.5 (2)15/15
GNN-CMA-ES Faury 3.3 (2)4.4 (2)4.2 (1)4.4 (1)4.6 (1)4.8 (1)5.1 (1)15/15
IPOP-CMA-ES-2019 Faury 3.3 (1)5.6 (4)4.4 (3)4.5 (2)4.6 (2)5.0 (2)5.2 (2)15/15
L-BFGS-B-scipy-2019 Varelas 1.4 (0.3)1.1 (0.8)0.81 (0.5)0.85 (0.4)0.86 (0.4)0.87 (0.3)0.87 (0.3)15/15
Nelder-Mead-scipy-2019 Varelas 2.8 (1.0)2.5 (2)1.7 (0.8)1.6 (0.7)1.6 (0.6)1.6 (0.6)1.7 (0.6)15/15
Powell-scipy-2019 Varelas 3.8 (4)4.9 (5)4.4 (3)4.5 (2)4.7 (2)4.7 (2)4.7 (2)15/15
RS-0p5-initIn0 Brockhoff 0.37 (0.3)↑02.3 (2)153 (214)1.3e5 (1e5)∞∞∞3e60/15
RS-0p5 Brockhoff 0.31 (0.3)↑12.4 (2)112 (136)2.8e5 (3e5)∞∞∞3e60/15
RS-1-initIn0 Brockhoff 0.80 (1)4.3 (5)121 (115)2048 (1734)2.7e5 (3e5)∞∞3e60/15
RS-10-initIn0 Brockhoff 510 (358)4641 (5132)1.7e5 (1e5)∞∞∞∞3e60/15
RS-10 Brockhoff 399 (353)6174 (6471)8.0e4 (8e4)∞∞∞∞3e60/15
RS-1 Brockhoff 0.79 (0.5)13 (16)154 (149)2561 (3396)4.1e4 (4e4)∞∞3e60/15
RS-2-initIn0 Brockhoff 4.1 (5)52 (46)875 (878)2.2e4 (3e4)2.7e5 (4e5)∞∞3e60/15
RS-20-initIn0 Brockhoff 3059 (3408)6.6e4 (7e4)∞∞∞∞∞3e60/15
RS-20 Brockhoff 2828 (2925)4.9e4 (5e4)∞∞∞∞∞3e60/15
RS-2 Brockhoff 4.9 (4)57 (62)512 (477)3.7e4 (6e4)∞∞∞3e60/15
RS-3-initIn0 Brockhoff 15 (16)170 (168)2213 (2227)6.6e4 (7e4)∞∞∞3e60/15
RS-3 Brockhoff 14 (17)192 (238)3134 (2716)9.0e4 (8e4)∞∞∞3e60/15
RS-4-initIn0 Brockhoff 38 (45)487 (406)4660 (3114)3.0e5 (4e5)∞∞∞3e60/15
RS-5-initIn0 Brockhoff 72 (77)817 (1278)1.7e4 (2e4)3.0e5 (3e5)∞∞∞3e60/15
RS-6-initIn0 Brockhoff 97 (100)1694 (1529)2.5e4 (2e4)1.4e5 (2e5)∞∞∞3e60/15
RS-6 Brockhoff 98 (103)1291 (1230)2.5e4 (3e4)∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 1.7 (0.9)2.2 (2)1.5 (0.8)1.4 (0.7)1.4 (0.6)1.4 (0.6)1.3 (0.6)15/15
TNC-scipy-2019 Varelas 2.7 (2)4.5 (5)4.3 (3)4.9 (4)5.5 (4)12 (12)32 (34)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.2 (2)2.1 (0.8)1.5 (0.4)1.5 (0.4)1.5 (0.4)1.6 (0.4)1.7 (0.3)15/15

Δ fopt
f10, 3-D		 1e1
114		 1e0
152		 1e-1
168		 1e-2
180		 1e-3
194		 1e-5
218		 1e-7
242		 #succ
15/15
Adaptive-Two-Mode Bodner 105 (201)317 (423)536 (399)796 (617)1085 (819)2077 (1863)4516 (5098)4/15
BFGS-scipy-2019 Varelas 0.55 (0.2)↑00.47 (0.2)↑00.48 (0.2)↑00.49 (0.2)↑00.52 (0.2)↑10.95 (0.8)13 (17)15/15
CG-scipy-2019 Varelas 5.1 (11)8.7 (8)27 (14)35 (39)95 (118)401 (375)1943 (3054)3/15
COBYLA-scipy-2019 Varelas 548 (775)1.3e4 (2e4)∞∞∞∞∞3e50/15
DE-scipy-2019 Varelas 6.6 (3)7.2 (2)8.5 (2)10 (1)11 (5)33 (32)230 (437)11/15
GNN-CMA-ES Faury 9.4 (12)16 (17)18 (18)18 (21)18 (20)16 (18)15 (16)15/15
IPOP-CMA-ES-2019 Faury 3.0 (0.9)2.7 (0.4)2.7 (0.4)2.8 (0.4)2.9 (0.4)2.9 (0.4)3.0 (0.4)15/15
L-BFGS-B-scipy-2019 Varelas 0.77 (0.4)0.92 (0.4)1.0 (0.3)1.0 (0.3)1.1 (0.3)2.0 (2)9.2 (14)15/15
Nelder-Mead-scipy-2019 Varelas 1.4 (1)1.4 (0.9)1.9 (2)2.1 (2)2.0 (2)1.9 (1)1.8 (1)15/15
Powell-scipy-2019 Varelas 3.4 (1)3.0 (1)3.1 (2)3.1 (1)3.0 (1)2.8 (1)2.7 (1)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 1.2e4 (1e4)∞∞∞∞∞∞3e60/15
RS-10 Brockhoff 1.7e4 (2e4)2.9e5 (3e5)∞∞∞∞∞3e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 4.2e4 (7e4)8.7e4 (1e5)∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 1.8e5 (2e5)∞∞∞∞∞∞3e60/15
RS-20 Brockhoff 3.8e5 (5e5)∞∞∞∞∞∞3e60/15
RS-2 Brockhoff 4.2e4 (7e4)8.7e4 (7e4)∞∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 8155 (1e4)3.1e4 (4e4)∞∞∞∞∞3e60/15
RS-3 Brockhoff 7458 (1e4)3.4e4 (5e4)2.5e5 (2e5)∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 1738 (1320)2.7e4 (4e4)2.6e5 (3e5)∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 2382 (2413)5.9e4 (9e4)∞∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 4696 (4567)8.7e4 (9e4)2.6e5 (2e5)∞∞∞∞3e60/15
RS-6 Brockhoff 2997 (3324)6.1e4 (9e4)∞∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 0.38 (0.2)↑00.34 (0.2)↑00.34 (0.1)↑00.38 (0.2)↑00.39 (0.2)↑01.3e4 (5189)1.5e4 (4688)8/15
TNC-scipy-2019 Varelas 9.4 (9)18 (34)38 (39)53 (43)84 (92)884 (1339)2934 (4379)1/15
adapt-Nelder-Mead-scipy-2019 Varelas 1.9 (1.0)1.9 (1)1.9 (0.8)2.1 (0.8)2.1 (0.7)2.1 (0.6)2.0 (0.6)15/15

Δ fopt
f11, 3-D		 1e1
67		 1e0
105		 1e-1
227		 1e-2
263		 1e-3
277		 1e-5
302		 1e-7
327		 #succ
15/15
Adaptive-Two-Mode Bodner 23 (23)54 (60)43 (35)56 (64)76 (54)155 (107)242 (223)15/15
BFGS-scipy-2019 Varelas 0.60 (0.3)↑10.46 (0.1)↑00.25 (0.1)↑00.24 (0.1)↑00.26 (0.1)↑02.4 (5)45 (59)13/15
CG-scipy-2019 Varelas 1.8 (1)2.2 (1)1.8 (0.7)1.8 (0.5)2.6 (2)14 (18)629 (761)3/15
COBYLA-scipy-2019 Varelas 2.7 (4)11 (16)137 (106)670 (1066)7385 (7519)∞∞3e50/15
DE-scipy-2019 Varelas 8.8 (5)8.9 (2)5.1 (1)7.9 (5)47 (77)143 (182)1381 (1357)2/15
GNN-CMA-ES Faury 16 (17)20 (16)12 (9)11 (9)12 (8)11 (8)10 (7)15/15
IPOP-CMA-ES-2019 Faury 3.9 (2)3.3 (0.9)1.8 (0.4)1.8 (0.3)1.8 (0.3)2.0 (0.2)2.1 (0.2)15/15
L-BFGS-B-scipy-2019 Varelas 1.2 (0.6)1.1 (0.3)0.70 (0.3)0.88 (0.4)1.1 (0.8)1.9 (2)27 (16)15/15
Nelder-Mead-scipy-2019 Varelas 3.7 (3)3.6 (2)1.9 (1.0)1.9 (0.9)1.8 (0.8)1.8 (0.7)1.7 (0.7)15/15
Powell-scipy-2019 Varelas 4.3 (4)5.1 (4)2.6 (2)2.5 (2)2.5 (2)2.6 (1)2.5 (1)15/15
RS-0p5-initIn0 Brockhoff 2.9e5 (6e5)4.0e5 (5e5)∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 2.9e5 (3e5)4.0e5 (4e5)∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 1.8e5 (2e5)4.0e5 (6e5)1.9e5 (2e5)∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 681 (972)1.7e4 (2e4)∞∞∞∞∞3e60/15
RS-10 Brockhoff 906 (591)1.7e4 (3e4)9.3e4 (1e5)∞∞∞∞3e60/15
RS-1 Brockhoff 1.8e5 (2e5)4.0e5 (3e5)1.9e5 (3e5)∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 2.3e4 (2e4)1.1e5 (1e5)1.9e5 (2e5)∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 7064 (6255)8.8e4 (9e4)∞∞∞∞∞3e60/15
RS-20 Brockhoff 7578 (2e4)4.0e5 (4e5)∞∞∞∞∞3e60/15
RS-2 Brockhoff 2.5e4 (3e4)1.2e5 (1e5)1.9e5 (2e5)∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 3355 (519)2.0e4 (2e4)3.1e4 (3e4)1.7e5 (2e5)∞∞∞3e60/15
RS-3 Brockhoff 3288 (224)2.0e4 (2e4)3.1e4 (5e4)1.6e5 (2e5)∞∞∞3e60/15
RS-4-initIn0 Brockhoff 67 (73)1323 (1564)1.7e4 (2e4)∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 122 (168)1492 (1213)2.5e4 (2e4)∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 252 (307)3694 (6183)4.1e4 (4e4)∞∞∞∞3e60/15
RS-6 Brockhoff 159 (204)3400 (2781)4.1e4 (5e4)∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 0.51 (0.1)↑00.38 (0.1)↑00.20 (0.1)↑00.20 (0.1)↑00.21 (0.1)↑0438 (84)2124 (2802)7/15
TNC-scipy-2019 Varelas 4.9 (5)7.0 (5)5.7 (3)7.8 (6)12 (13)256 (282)6294 (8704)1/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.3 (3)4.3 (2)2.3 (0.6)2.0 (0.6)2.0 (0.5)2.0 (0.5)1.9 (0.5)15/15

Δ fopt
f12, 3-D		 1e1
65		 1e0
168		 1e-1
338		 1e-2
401		 1e-3
445		 1e-5
696		 1e-7
790		 #succ
15/15
Adaptive-Two-Mode Bodner 1719 (4619)1629 (1905)1727 (1559)2612 (3459)4427 (6449)6224 (6397)1.1e4 (1e4)0/15
BFGS-scipy-2019 Varelas 7.7 (8)4.2 (4)2.6 (2)2.4 (2)2.3 (2)11 (25)76 (192)10/15
CG-scipy-2019 Varelas 1.6 (0.6)1.6 (2)2.1 (2)2.3 (3)2.5 (3)30 (50)312 (382)7/15
COBYLA-scipy-2019 Varelas 1.5 (2)2.6 (1)3.8 (4)8.1 (12)45 (35)∞∞3e50/15
DE-scipy-2019 Varelas 18 (7)11 (5)7.0 (3)7.2 (3)7.4 (4)6.4 (5)194 (220)7/15
GNN-CMA-ES Faury 17 (23)13 (13)8.5 (7)8.9 (9)8.5 (8)6.2 (6)6.9 (6)15/15
IPOP-CMA-ES-2019 Faury 7.6 (10)6.9 (10)5.1 (7)5.6 (6)5.4 (6)4.4 (6)4.7 (5)15/15
L-BFGS-B-scipy-2019 Varelas 1.7 (2)1.3 (2)1.0 (1)1.0 (1)1.0 (1)0.88 (0.8)24 (4)14/15
Nelder-Mead-scipy-2019 Varelas 5.0 (4)3.4 (2)2.2 (2)2.0 (2)2.1 (2)1.9 (2)60 (106)10/15
Powell-scipy-2019 Varelas 12 (15)10 (9)6.8 (5)6.2 (5)6.0 (5)4.5 (3)4.5 (3)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-10 Brockhoff 3.2e5 (3e5)∞∞∞∞∞∞3e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 6.9e5 (9e5)∞∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-20 Brockhoff 6.6e5 (6e5)∞∞∞∞∞∞3e60/15
RS-2 Brockhoff 3.1e5 (3e5)∞∞∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 8.4e4 (1e5)∞∞∞∞∞∞3e60/15
RS-3 Brockhoff 1.5e5 (2e5)∞∞∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 1.2e5 (1e5)∞∞∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 6.6e5 (5e5)∞∞∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 1.5e5 (3e5)2.6e5 (3e5)∞∞∞∞∞3e60/15
RS-6 Brockhoff 1.5e5 (2e5)∞∞∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 2.8 (5)1.9 (3)1.3 (2)1.2 (2)1.2 (2)0.87 (1)3.8 (7)13/15
TNC-scipy-2019 Varelas 11 (14)16 (21)24 (20)27 (28)45 (64)449 (881)647 (693)6/15
adapt-Nelder-Mead-scipy-2019 Varelas 5.9 (4)3.9 (3)2.5 (2)2.6 (2)2.4 (2)1.9 (1)101 (192)10/15

Δ fopt
f13, 3-D		 1e1
49		 1e0
85		 1e-1
108		 1e-2
136		 1e-3
215		 1e-5
281		 1e-7
365		 #succ
15/15
Adaptive-Two-Mode Bodner 50 (77)251 (465)5203 (6438)1.8e4 (3e4)∞∞∞6e50/15
BFGS-scipy-2019 Varelas 1.2 (0.4)0.98 (0.2)1.1 (0.2)1.0 (0.1)1.0 (0.1)315 (526)1.2e4 (1e4)0/15
CG-scipy-2019 Varelas 11 (16)27 (30)77 (65)217 (217)825 (800)4926 (3206)∞3e50/15
COBYLA-scipy-2019 Varelas 1.5 (1)4.3 (5)12 (13)59 (67)∞∞∞3e50/15
DE-scipy-2019 Varelas 7.4 (4)9.4 (2)19 (18)46 (62)117 (102)507 (511)1.2e4 (8226)0/15
GNN-CMA-ES Faury 4.0 (2)4.9 (5)7.7 (13)9.2 (16)8.1 (15)7.6 (12)6.8 (9)15/15
IPOP-CMA-ES-2019 Faury 2.7 (0.8)3.0 (0.6)3.3 (0.6)3.4 (0.5)2.6 (0.3)2.6 (0.3)2.6 (0.2)★215/15
L-BFGS-B-scipy-2019 Varelas 4.1 (6)263 (13)224 (66)187 (85)133 (82)265 (551)2537 (3802)0/15
Nelder-Mead-scipy-2019 Varelas 3.8 (2)2.9 (2)2.5 (2)2.4 (2)1.6 (1.0)1.9 (1)122 (199)0/15
Powell-scipy-2019 Varelas 23 (35)69 (103)205 (174)397 (639)325 (611)1513 (2200)1894 (2759)3/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 5145 (7267)∞∞∞∞∞∞3e60/15
RS-10 Brockhoff 8441 (7587)∞∞∞∞∞∞3e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 1.7e5 (2e5)2.6e5 (3e5)∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 1.1e5 (1e5)∞∞∞∞∞∞3e60/15
RS-20 Brockhoff 8.9e4 (1e5)∞∞∞∞∞∞3e60/15
RS-2 Brockhoff 1.7e5 (3e5)5.0e5 (5e5)∞∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 1.1e4 (3e4)1.5e5 (2e5)∞∞∞∞∞3e60/15
RS-3 Brockhoff 9864 (3e4)7.2e4 (7e4)∞∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 1005 (1883)7.3e4 (6e4)∞∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 922 (1106)1.5e5 (2e5)∞∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 1427 (1953)∞∞∞∞∞∞3e60/15
RS-6 Brockhoff 1735 (2106)5.3e5 (6e5)∞∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 0.99 (0.2)0.80 (0.1)★2↑00.82 (0.1)★2↑00.79 (0.1)★3↑00.60 (0.1)★4↑06.5e4 (8e4)∞8e60/15
TNC-scipy-2019 Varelas 16 (22)38 (57)76 (66)199 (262)249 (270)2027 (1940)∞3e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 4.0 (4)3.3 (2)3.1 (2)3.1 (2)2.3 (1)3.3 (2)471 (594)0/15

Δ fopt
f14, 3-D		 1e1
2.0		 1e0
17		 1e-1
28		 1e-2
43		 1e-3
71		 1e-5
110		 1e-7
194		 #succ
15/15
Adaptive-Two-Mode Bodner 19 (20)19 (25)24 (20)30 (16)29 (15)195 (213)3526 (4207)2/15
BFGS-scipy-2019 Varelas 3.5 (3)1.4 (0.9)1.5 (0.8)1.6 (0.5)1.2 (0.3)1.2 (0.2)63 (86)13/15
CG-scipy-2019 Varelas 5.1 (3)1.6 (0.9)1.6 (0.9)1.6 (0.6)1.6 (0.5)2.9 (2)88 (85)14/15
COBYLA-scipy-2019 Varelas 2.3 (2)0.76 (0.3)0.70 (0.2)★↑11.0 (0.4)55 (54)1.9e4 (2e4)∞3e50/15
DE-scipy-2019 Varelas 2.3 (2)3.0 (3)10 (3)9.4 (5)6.5 (2)4.7 (1)82 (73)15/15
GNN-CMA-ES Faury 3.0 (2)3.4 (2)4.5 (1)4.8 (1)4.6 (0.8)5.0 (0.7)4.5 (0.9)15/15
IPOP-CMA-ES-2019 Faury 1.5 (1)3.2 (2)4.3 (2)4.3 (1)3.9 (0.8)4.2 (1)3.4 (0.9)15/15
L-BFGS-B-scipy-2019 Varelas 4.0 (4)1.3 (0.6)1.4 (0.6)1.3 (0.3)1.1 (0.3)1.1 (0.3)11 (11)15/15
Nelder-Mead-scipy-2019 Varelas 11 (11)3.5 (2)3.0 (1)2.6 (1.0)2.2 (0.7)2.0 (0.7)1.4 (0.4)15/15
Powell-scipy-2019 Varelas 2.6 (4)1.9 (2)1.9 (1)3.3 (1)3.7 (1)4.8 (1)4.3 (1)15/15
RS-0p5-initIn0 Brockhoff 5.5e5 (8e5)∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 5.5e5 (8e5)∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 3.8e5 (8e5)1.1e6 (1e6)∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 6.7 (12)78 (145)2786 (2412)1.4e5 (1e5)∞∞∞3e60/15
RS-10 Brockhoff 8.6 (11)99 (134)3375 (2810)7.5e4 (9e4)∞∞∞3e60/15
RS-1 Brockhoff 3.8e5 (8e5)1.1e6 (2e6)∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 8.1 (4)2.0e5 (2e5)4.3e5 (4e5)4.6e5 (4e5)6.0e5 (1e6)∞∞3e60/15
RS-20-initIn0 Brockhoff 40 (85)810 (1043)2.4e4 (4e4)∞∞∞∞3e60/15
RS-20 Brockhoff 85 (97)798 (838)2.6e4 (2e4)∞∞∞∞3e60/15
RS-2 Brockhoff 8.2 (2)2.0e5 (3e5)4.3e5 (5e5)4.8e5 (7e5)6.2e5 (7e5)∞∞3e60/15
RS-3-initIn0 Brockhoff 1.5 (2)27 (65)9.4e4 (2e5)8.3e4 (9e4)3.1e5 (2e5)∞∞3e60/15
RS-3 Brockhoff 1.3 (1)95 (56)9.4e4 (2e5)8.4e4 (2e5)5.9e5 (6e5)∞∞3e60/15
RS-4-initIn0 Brockhoff 1.2 (1)6.3 (10)199 (184)1.5e4 (2e4)6.0e5 (7e5)∞∞3e60/15
RS-5-initIn0 Brockhoff 1.7 (2)10 (10)330 (294)1.4e4 (1e4)∞∞∞3e60/15
RS-6-initIn0 Brockhoff 2.0 (2)25 (32)856 (1065)3.0e4 (3e4)∞∞∞3e60/15
RS-6 Brockhoff 3.3 (4)20 (13)529 (484)4.0e4 (5e4)∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 3.6 (3)1.1 (0.6)1.1 (0.5)1.1 (0.3)0.87 (0.2)★0.87 (0.1)★2280 (2799)6/15
TNC-scipy-2019 Varelas 8.1 (10)4.8 (3)4.9 (2)7.6 (3)6.9 (5)35 (33)529 (662)3/15
adapt-Nelder-Mead-scipy-2019 Varelas 11 (11)5.4 (3)4.2 (2)3.4 (1)2.6 (1.0)2.3 (0.7)1.7 (0.4)15/15

Δ fopt
f15, 3-D		 1e1
121		 1e0
1372		 1e-1
6285		 1e-2
8282		 1e-3
8429		 1e-5
8787		 1e-7
9041		 #succ
15/15
Adaptive-Two-Mode Bodner 17 (23)18 (21)18 (27)14 (20)13 (20)13 (19)13 (19)15/15
BFGS-scipy-2019 Varelas 25 (24)27 (28)22 (22)17 (17)17 (16)16 (16)15 (15)15/15
CG-scipy-2019 Varelas 37 (49)33 (57)81 (93)61 (81)60 (58)58 (112)56 (77)6/15
COBYLA-scipy-2019 Varelas 3.8 (4)3.6 (3)7.9 (10)6.0 (8)5.9 (8)19 (35)∞3e50/15
DE-scipy-2019 Varelas 2.5 (2)1.6 (1.0)1.1 (1)0.81 (0.8)0.80 (0.8)0.78 (0.7)1.2 (2)15/15
GNN-CMA-ES Faury 1.2 (1.0)1.4 (1)1.1 (2)0.86 (1)0.86 (1)0.86 (1)0.87 (1)15/15
IPOP-CMA-ES-2019 Faury 2.0 (5)1.2 (1)1.2 (1)0.90 (1)0.91 (1)0.90 (1)0.90 (1)14/15
L-BFGS-B-scipy-2019 Varelas 9.2 (10)12 (14)18 (18)14 (14)13 (13)13 (13)13 (12)14/15
Nelder-Mead-scipy-2019 Varelas 13 (7)20 (13)26 (32)20 (31)19 (37)18 (20)∞3e50/15
Powell-scipy-2019 Varelas 30 (30)16 (15)28 (30)21 (25)21 (22)20 (28)19 (37)12/15
RS-0p5-initIn0 Brockhoff 1.6e5 (1e5)∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 1.6e5 (2e5)∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 9.9e4 (2e5)3.1e4 (4e4)∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 198 (151)∞∞∞∞∞∞3e60/15
RS-10 Brockhoff 143 (147)∞∞∞∞∞∞3e60/15
RS-1 Brockhoff 9.9e4 (2e5)∞∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 3.0e4 (4e4)3.1e4 (4e4)∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 729 (647)∞∞∞∞∞∞3e60/15
RS-20 Brockhoff 2020 (2075)∞∞∞∞∞∞3e60/15
RS-2 Brockhoff 2.9e4 (4e4)3.1e4 (4e4)∞∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 675 (726)3673 (4248)3208 (3411)∞∞∞∞3e60/15
RS-3 Brockhoff 90 (187)3982 (5470)∞∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 18 (24)1049 (1254)∞∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 21 (35)2019 (1399)∞∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 40 (43)3520 (3296)6960 (6086)∞∞∞∞3e60/15
RS-6 Brockhoff 32 (27)7015 (7420)∞∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 5.0 (6)14 (14)13 (14)10 (11)10 (11)9.1 (10)8.9 (10)15/15
TNC-scipy-2019 Varelas 59 (76)67 (48)221 (241)168 (210)165 (142)158 (153)154 (184)2/15
adapt-Nelder-Mead-scipy-2019 Varelas 27 (31)27 (27)54 (60)41 (48)40 (52)39 (40)∞3e50/15

Δ fopt
f16, 3-D		 1e1
41		 1e0
319		 1e-1
582		 1e-2
789		 1e-3
1864		 1e-5
3204		 1e-7
3361		 #succ
15/15
Adaptive-Two-Mode Bodner 11 (3)8.6 (10)39 (84)30 (66)20 (44)30 (27)45 (59)15/15
BFGS-scipy-2019 Varelas 147 (137)686 (808)3780 (3482)∞∞∞∞3e50/15
CG-scipy-2019 Varelas 133 (204)528 (574)3796 (3729)∞∞∞∞3e50/15
COBYLA-scipy-2019 Varelas 0.98 (1)1.0 (1)4.0 (5)34 (39)110 (146)1332 (1756)∞3e50/15
DE-scipy-2019 Varelas 0.91 (0.9)3.9 (3)5.1 (2)27 (51)70 (104)∞∞3e50/15
GNN-CMA-ES Faury 1.9 (1)1.7 (2)2.1 (2)1.7 (1)0.86 (0.5)0.57 (0.3)↑10.58 (0.3)↑115/15
IPOP-CMA-ES-2019 Faury 3.7 (2)3.7 (3)3.9 (3)3.6 (3)1.9 (1)1.2 (0.8)1.3 (0.8)15/15
L-BFGS-B-scipy-2019 Varelas 37 (55)81 (119)1163 (1289)5485 (6655)∞∞∞3e50/15
Nelder-Mead-scipy-2019 Varelas 18 (24)13 (8)33 (35)60 (50)58 (42)60 (58)152 (184)1/15
Powell-scipy-2019 Varelas 8.4 (10)21 (18)92 (89)334 (419)209 (179)∞∞3e50/15
RS-0p5-initIn0 Brockhoff 4.0e4 (4e4)1.3e5 (2e5)7.2e4 (9e4)5.3e4 (5e4)∞∞∞3e60/15
RS-0p5 Brockhoff 4.4e4 (4e4)1.3e5 (2e5)7.2e4 (8e4)5.3e4 (6e4)∞∞∞3e60/15
RS-1-initIn0 Brockhoff 15 (31)1.9e4 (2e4)2.1e4 (2e4)2.7e4 (4e4)∞∞∞3e60/15
RS-10-initIn0 Brockhoff 5.3 (5)98 (92)1365 (1445)2.8e4 (3e4)∞∞∞3e60/15
RS-10 Brockhoff 8.3 (7)75 (127)1093 (853)2.6e4 (3e4)∞∞∞3e60/15
RS-1 Brockhoff 46 (159)1.9e4 (3e4)2.1e4 (3e4)∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 1.7 (1)11 (13)702 (635)1.3e4 (2e4)∞∞∞3e60/15
RS-20-initIn0 Brockhoff 44 (45)590 (869)2.4e4 (3e4)∞∞∞∞3e60/15
RS-20 Brockhoff 46 (68)559 (548)1.6e4 (1e4)∞∞∞∞3e60/15
RS-2 Brockhoff 1.5 (1)27 (28)829 (1350)4853 (3881)∞∞∞3e60/15
RS-3-initIn0 Brockhoff 1.4 (1)13 (14)192 (268)7298 (9715)∞∞∞3e60/15
RS-3 Brockhoff 1.1 (2)13 (14)197 (223)5536 (6350)∞∞∞3e60/15
RS-4-initIn0 Brockhoff 2.1 (4)5.1 (5)373 (481)9693 (9564)∞∞∞3e60/15
RS-5-initIn0 Brockhoff 1.4 (2)13 (15)212 (206)1.2e4 (1e4)∞∞∞3e60/15
RS-6-initIn0 Brockhoff 1.5 (2)14 (30)271 (232)8159 (9450)∞∞∞3e60/15
RS-6 Brockhoff 2.5 (2)13 (13)285 (325)2.6e4 (3e4)2.3e4 (4e4)∞∞3e60/15
SLSQP-scipy-2019 Varelas 2.0e4 (2e4)3.2e4 (4e4)∞∞∞∞∞5e50/15
TNC-scipy-2019 Varelas 48 (35)139 (204)712 (1135)∞∞∞∞3e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 15 (17)14 (14)23 (31)78 (80)88 (60)100 (97)218 (223)0/15

Δ fopt
f17, 3-D		 1e1
4.0		 1e0
78		 1e-1
282		 1e-2
491		 1e-3
1134		 1e-5
2347		 1e-7
3469		 #succ
15/15
Adaptive-Two-Mode Bodner 31 (56)22 (23)30 (49)37 (30)38 (47)95 (164)∞6e50/15
BFGS-scipy-2019 Varelas 96 (120)198 (184)2214 (2292)∞∞∞∞3e50/15
CG-scipy-2019 Varelas 141 (256)199 (211)1489 (1993)∞∞∞∞3e50/15
COBYLA-scipy-2019 Varelas 82 (139)163 (324)445 (539)8639 (7859)∞∞∞3e50/15
DE-scipy-2019 Varelas 1.9 (3)3.7 (2)8.6 (9)375 (443)621 (668)1793 (2397)∞3e50/15
GNN-CMA-ES Faury 2.4 (4)2.4 (1)1.9 (3)1.8 (2)1.2 (0.8)1.1 (0.8)0.94 (0.5)15/15
IPOP-CMA-ES-2019 Faury 2.4 (4)2.1 (0.6)1.7 (2)1.7 (1)0.87 (0.7)1.0 (0.9)0.98 (0.6)15/15
L-BFGS-B-scipy-2019 Varelas 36 (84)57 (72)418 (521)∞∞∞∞3e50/15
Nelder-Mead-scipy-2019 Varelas 13 (20)274 (363)1584 (2414)8987 (9623)∞∞∞3e50/15
Powell-scipy-2019 Varelas 46 (111)62 (71)119 (159)612 (656)630 (531)∞∞3e50/15
RS-0p5-initIn0 Brockhoff 5.4e4 (4)∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 5.4e4 (3)∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 723 (5)5.4e5 (4e5)∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 8.2 (12)203 (213)2.8e4 (3e4)∞∞∞∞3e60/15
RS-10 Brockhoff 14 (13)253 (298)1.6e5 (2e5)∞∞∞∞3e60/15
RS-1 Brockhoff 382 (8)5.4e5 (6e5)∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 1.9 (0.8)2.6e4 (3e4)6.9e4 (8e4)∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 32 (69)2252 (2163)∞∞∞∞∞3e60/15
RS-20 Brockhoff 160 (96)2323 (1793)1.6e5 (2e5)∞∞∞∞3e60/15
RS-2 Brockhoff 2.3 (1)2.7e4 (4e4)7.0e4 (8e4)∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 1.8 (3)3028 (1397)1.4e4 (2e4)∞∞∞∞3e60/15
RS-3 Brockhoff 1.1 (0.9)3808 (6017)1.4e4 (1e4)∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 1.3 (2)14 (16)3944 (4883)∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 1.4 (2)25 (30)7215 (6287)∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 2.3 (4)81 (93)2.2e4 (2e4)∞∞∞∞3e60/15
RS-6 Brockhoff 3.2 (2)85 (160)1.7e4 (2e4)∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 23 (50)134 (284)1705 (2941)9878 (1e4)∞∞∞3e50/15
TNC-scipy-2019 Varelas 79 (170)316 (247)1.6e4 (2e4)∞∞∞∞3e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 72 (86)325 (203)1912 (1477)8855 (7179)∞∞∞3e50/15

Δ fopt
f18, 3-D		 1e1
40		 1e0
145		 1e-1
1289		 1e-2
3084		 1e-3
3523		 1e-5
4738		 1e-7
5527		 #succ
15/15
Adaptive-Two-Mode Bodner 6.8 (7)334 (167)159 (220)181 (181)324 (349)1792 (2281)∞6e50/15
BFGS-scipy-2019 Varelas 50 (58)2751 (2286)∞∞∞∞∞3e50/15
CG-scipy-2019 Varelas 117 (135)813 (1222)3351 (3843)∞∞∞∞3e50/15
COBYLA-scipy-2019 Varelas 36 (67)193 (196)745 (819)∞∞∞∞3e50/15
DE-scipy-2019 Varelas 2.1 (2)3.8 (0.9)7.6 (8)281 (292)368 (438)∞∞3e50/15
GNN-CMA-ES Faury 1.1 (1.0)2.8 (4)0.80 (0.7)0.50 (0.6)0.70 (0.6)0.68 (0.3)0.66 (0.3)15/15
IPOP-CMA-ES-2019 Faury 1.8 (2)5.4 (12)1.4 (1)0.76 (0.6)0.75 (0.6)0.78 (0.5)0.75 (0.4)15/15
L-BFGS-B-scipy-2019 Varelas 46 (44)572 (745)∞∞∞∞∞3e50/15
Nelder-Mead-scipy-2019 Varelas 89 (78)747 (677)759 (759)∞∞∞∞3e50/15
Powell-scipy-2019 Varelas 21 (48)37 (42)47 (51)431 (376)1255 (1448)∞∞3e50/15
RS-0p5-initIn0 Brockhoff 2.1e5 (2e5)∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 2.1e5 (3e5)∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 5.0e4 (4e4)2.9e5 (5e5)∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 16 (17)2385 (2159)∞∞∞∞∞3e60/15
RS-10 Brockhoff 17 (17)6221 (8806)∞∞∞∞∞3e60/15
RS-1 Brockhoff 5.0e4 (8e4)2.9e5 (3e5)∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 2.7e4 (8e4)4.4e4 (5e4)∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 234 (341)2.6e4 (3e4)∞∞∞∞∞3e60/15
RS-20 Brockhoff 235 (207)2.3e4 (2e4)∞∞∞∞∞3e60/15
RS-2 Brockhoff 2.7e4 (4e4)3.5e4 (4e4)3.3e4 (3e4)∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 5360 (9)6916 (1e4)3.4e4 (4e4)∞∞∞∞3e60/15
RS-3 Brockhoff 5360 (4)5676 (1e4)1.6e4 (2e4)∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 1.8 (1)334 (422)∞∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 3.6 (5)625 (690)1.6e4 (2e4)∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 7.8 (7)795 (800)∞∞∞∞∞3e60/15
RS-6 Brockhoff 6.8 (7)925 (842)∞∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 81 (107)1653 (2246)∞∞∞∞∞3e50/15
TNC-scipy-2019 Varelas 129 (179)1289 (1577)∞∞∞∞∞3e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 138 (179)647 (854)1574 (1629)∞∞∞∞3e50/15

Δ fopt
f19, 3-D		 1e1
1		 1e0
1		 1e-1
109		 1e-2
6764		 1e-3
7367		 1e-5
7399		 1e-7
7441		 #succ
15/15
Adaptive-Two-Mode Bodner 1 (0)1 (0)1.3 (1)4.5 (6)4.5 (5)5.0 (5)6.2 (6)15/15
BFGS-scipy-2019 Varelas 245 (395)2039 (2280)144 (196)34 (40)76 (86)75 (90)75 (68)6/15
CG-scipy-2019 Varelas 189 (262)1764 (2130)218 (283)19 (24)97 (127)97 (57)96 (120)2/15
COBYLA-scipy-2019 Varelas 10 (6)189 (208)16 (15)3.7 (3)6.3 (8)105 (127)607 (617)0/15
DE-scipy-2019 Varelas 8.6 (8)278 (176)29 (32)1.8 (1)3.0 (2)3.0 (2)22 (28)5/15
GNN-CMA-ES Faury 1 (0)1 (0)67 (73)2.5 (2)2.7 (2)2.7 (2)3.0 (4)11/15
IPOP-CMA-ES-2019 Faury 1 (0)1 (0)55 (65)3.4 (4)6.6 (6)6.6 (10)6.6 (5)7/15
L-BFGS-B-scipy-2019 Varelas 228 (394)1376 (1321)51 (56)17 (21)54 (67)54 (58)54 (56)8/15
Nelder-Mead-scipy-2019 Varelas 211 (185)554 (493)99 (110)12 (12)46 (42)46 (45)46 (41)9/15
Powell-scipy-2019 Varelas 43 (20)1232 (1746)672 (1403)92 (114)114 (144)114 (174)113 (142)4/15
RS-0p5-initIn0 Brockhoff 1 (0)1 (0)2.8 (3)3.9 (5)401 (439)∞∞3e60/15
RS-0p5 Brockhoff 1.3 (0.5)24 (36)2.3 (4)4.0 (5)604 (1017)∞∞3e60/15
RS-1-initIn0 Brockhoff 1 (0)1 (0)12 (10)2.9 (3)24 (23)440 (444)∞3e60/15
RS-10-initIn0 Brockhoff 1 (0)1 (0)7460 (7060)2010 (2750)2907 (2903)∞∞3e60/15
RS-10 Brockhoff 59 (52)5581 (6649)5126 (9194)1808 (2107)∞∞∞3e60/15
RS-1 Brockhoff 2.3 (2)38 (47)11 (10)2.6 (3)12 (15)788 (633)∞3e60/15
RS-2-initIn0 Brockhoff 1 (0)1 (0)57 (89)14 (19)157 (206)5677 (6487)∞3e60/15
RS-20-initIn0 Brockhoff 1 (0)1 (0)3.7e4 (4e4)6447 (9203)∞∞∞3e60/15
RS-20 Brockhoff 311 (402)2.5e4 (2e4)3.7e4 (5e4)∞∞∞∞3e60/15
RS-2 Brockhoff 2.3 (2)61 (84)63 (82)18 (19)118 (83)2777 (2884)∞3e60/15
RS-3-initIn0 Brockhoff 1 (0)1 (0)130 (195)90 (76)407 (448)∞∞3e60/15
RS-3 Brockhoff 3.0 (2)208 (327)205 (246)94 (69)330 (490)∞∞3e60/15
RS-4-initIn0 Brockhoff 1 (0)1 (0)308 (250)161 (184)992 (1359)∞∞3e60/15
RS-5-initIn0 Brockhoff 1 (0)1 (0)548 (594)286 (419)1793 (2343)∞∞3e60/15
RS-6-initIn0 Brockhoff 1 (0)1 (0)1679 (2051)418 (531)2837 (3427)∞∞3e60/15
RS-6 Brockhoff 17 (24)1784 (2405)1258 (1628)470 (351)2817 (5694)∞∞3e60/15
SLSQP-scipy-2019 Varelas 2.8e6 (4e6)8.1e7 (8e7)7.4e5 (7e5)∞∞∞∞3e60/15
TNC-scipy-2019 Varelas 150 (174)684 (845)4743 (107)182 (327)303 (551)304 (370)1226 (1813)1/15
adapt-Nelder-Mead-scipy-2019 Varelas 57 (92)608 (716)71 (67)21 (24)46 (94)47 (57)47 (61)8/15

Δ fopt
f20, 3-D		 1e1
8.0		 1e0
385		 1e-1
2291		 1e-2
2398		 1e-3
2481		 1e-5
2573		 1e-7
2776		 #succ
15/15
Adaptive-Two-Mode Bodner 16 (18)12 (8)87 (135)83 (137)81 (146)78 (123)73 (127)12/15
BFGS-scipy-2019 Varelas 6.0 (5)4.0 (4)4.5 (4)4.3 (4)4.1 (4)4.0 (4)3.7 (3)15/15
CG-scipy-2019 Varelas 1.8 (0.9)7.2 (8)28 (36)27 (34)26 (33)25 (32)23 (29)15/15
COBYLA-scipy-2019 Varelas 1.1 (0.6)0.99 (0.9)10 (10)10 (9)9.3 (9)9.0 (9)448 (648)0/15
DE-scipy-2019 Varelas 3.0 (4)1.9 (1)1.1 (1)1.1 (1)1.0 (1)1.0 (1.0)0.94 (0.9)15/15
GNN-CMA-ES Faury 4.9 (4)4.3 (7)3.7 (4)3.7 (4)3.7 (4)3.7 (4)3.5 (4)14/15
IPOP-CMA-ES-2019 Faury 1.9 (3)4.3 (4)7.6 (8)7.5 (7)7.4 (8)7.3 (8)6.9 (6)12/15
L-BFGS-B-scipy-2019 Varelas 1.5 (1)1.5 (2)4.5 (3)4.3 (3)4.2 (3)4.0 (3)3.7 (3)15/15
Nelder-Mead-scipy-2019 Varelas 4.6 (4)1.7 (2)4.9 (8)4.6 (8)4.5 (7)4.3 (7)6.1 (7)2/15
Powell-scipy-2019 Varelas 8.3 (7)3.3 (5)6.6 (8)6.4 (8)6.2 (8)5.9 (7)5.5 (7)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 18 (21)∞∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 44 (54)565 (507)6109 (4108)1.8e4 (2e4)∞∞∞3e60/15
RS-10 Brockhoff 30 (44)404 (263)8835 (9008)∞∞∞∞3e60/15
RS-1 Brockhoff 12 (15)∞∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 0.64 (0.6)∞∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 466 (391)3063 (3082)2.0e4 (2e4)∞∞∞∞3e60/15
RS-20 Brockhoff 344 (481)5131 (4836)∞∞∞∞∞3e60/15
RS-2 Brockhoff 0.89 (0.9)5.5e4 (8e4)∞∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 1.4 (2)15 (13)319 (406)1.8e4 (2e4)∞∞∞3e60/15
RS-3 Brockhoff 0.99 (1)16 (13)412 (458)5785 (6520)∞∞∞3e60/15
RS-4-initIn0 Brockhoff 2.5 (2)37 (47)545 (473)∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 5.7 (6)82 (86)1074 (1619)∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 12 (11)164 (173)5902 (6650)∞∞∞∞3e60/15
RS-6 Brockhoff 4.8 (6)98 (51)3768 (3353)∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 2.1 (0.9)2.9 (3)10 (17)10 (16)10 (16)9.2 (15)8.6 (14)15/15
TNC-scipy-2019 Varelas 4.2 (1)4.9 (5)18 (22)17 (21)17 (21)16 (20)21 (22)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 7.3 (6)1.9 (2)3.3 (3)3.2 (3)3.1 (3)3.0 (3)3.7 (4)1/15

Δ fopt
f21, 3-D		 1e1
6.0		 1e0
184		 1e-1
425		 1e-2
439		 1e-3
458		 1e-5
469		 1e-7
482		 #succ
14/15
Adaptive-Two-Mode Bodner 15 (20)32 (56)396 (806)384 (1045)369 (678)361 (643)353 (627)12/15
BFGS-scipy-2019 Varelas 2.3 (3)3.1 (3)2.6 (4)2.5 (4)2.5 (3)2.5 (3)2.5 (3)15/15
CG-scipy-2019 Varelas 11 (17)8.7 (8)8.8 (9)8.6 (9)8.3 (9)8.2 (8)8.3 (8)15/15
COBYLA-scipy-2019 Varelas 38 (1)23 (27)18 (27)17 (26)17 (25)16 (24)16 (24)15/15
DE-scipy-2019 Varelas 1.4 (2)1.4 (1)1.6 (1)1.9 (2)2.1 (2)2.3 (2)4.8 (3)15/15
GNN-CMA-ES Faury 2.2 (3)5.1 (6)3.7 (5)3.7 (5)3.7 (4)3.8 (4)3.9 (4)15/15
IPOP-CMA-ES-2019 Faury 1.9 (2)8.6 (12)6.7 (8)6.8 (8)6.7 (8)7.3 (8)7.4 (8)15/15
L-BFGS-B-scipy-2019 Varelas 3.1 (5)1.5 (2)2.9 (4)2.8 (4)2.7 (3)2.7 (3)2.6 (3)15/15
Nelder-Mead-scipy-2019 Varelas 10 (14)6.3 (6)4.9 (5)4.8 (4)4.6 (4)4.5 (4)4.4 (4)15/15
Powell-scipy-2019 Varelas 2.6 (3)14 (43)12 (20)12 (19)11 (19)11 (18)11 (18)15/15
RS-0p5-initIn0 Brockhoff 5.7e5 (8e5)∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 5.7e5 (8e5)∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 7.7e4 (3e5)6.5e4 (9e4)∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 10 (13)23 (28)41 (39)401 (318)2042 (1762)2.8e4 (2e4)∞3e60/15
RS-10 Brockhoff 9.2 (10)21 (28)56 (36)259 (326)1610 (2274)9.0e4 (1e5)∞3e60/15
RS-1 Brockhoff 7.7e4 (3e5)6.5e4 (9e4)∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 1.5 (2)6021 (8156)1.4e4 (1e4)1.4e4 (1e4)2.6e4 (4e4)2.6e4 (3e4)8.8e4 (9e4)0/15
RS-20-initIn0 Brockhoff 86 (100)214 (236)501 (644)3794 (4485)1.5e4 (3e4)∞∞3e60/15
RS-20 Brockhoff 58 (76)121 (137)337 (476)2622 (3207)1.4e4 (1e4)9.3e4 (7e4)∞3e60/15
RS-2 Brockhoff 1.4 (1)5966 (8181)1.4e4 (2e4)1.4e4 (1e4)2.6e4 (3e4)2.6e4 (2e4)∞3e60/15
RS-3-initIn0 Brockhoff 1.2 (1)3.0 (5)2570 (3532)3433 (5146)3551 (5070)1.1e4 (2e4)8.8e4 (1e5)0/15
RS-3 Brockhoff 1.1 (0.8)10 (13)2574 (3534)3427 (5129)3850 (6560)1.0e4 (1e4)4.2e4 (5e4)1/15
RS-4-initIn0 Brockhoff 1.4 (2)1.4 (2)4.5 (3)18 (28)63 (70)3090 (2571)∞3e60/15
RS-5-initIn0 Brockhoff 1.1 (2)1.8 (2)4.6 (6)31 (19)186 (179)7865 (9350)∞3e60/15
RS-6-initIn0 Brockhoff 2.6 (3)4.0 (7)16 (23)70 (54)233 (319)1.1e4 (1e4)∞3e60/15
RS-6 Brockhoff 2.8 (3)4.1 (3)22 (17)68 (84)365 (307)6056 (7387)∞3e60/15
SLSQP-scipy-2019 Varelas 2.4 (2)3.7 (3)3.5 (5)3.4 (4)3.3 (4)3.3 (4)3.3 (4)15/15
TNC-scipy-2019 Varelas 17 (20)5.4 (9)17 (23)17 (22)17 (22)22 (22)22 (22)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 6.5 (13)4.9 (6)3.7 (4)3.7 (4)3.5 (4)3.5 (4)3.4 (4)15/15

Δ fopt
f22, 3-D		 1e1
18		 1e0
170		 1e-1
354		 1e-2
362		 1e-3
384		 1e-5
401		 1e-7
414		 #succ
15/15
Adaptive-Two-Mode Bodner 15 (14)319 (206)160 (99)158 (97)150 (93)147 (92)145 (90)14/15
BFGS-scipy-2019 Varelas 3.5 (4)2.6 (3)2.9 (2)2.9 (2)2.8 (2)2.8 (2)2.9 (2)15/15
CG-scipy-2019 Varelas 6.2 (8)7.3 (5)8.9 (13)8.8 (13)8.4 (12)8.4 (12)12 (11)15/15
COBYLA-scipy-2019 Varelas 16 (6)18 (12)17 (27)18 (25)18 (23)21 (22)144 (121)5/15
DE-scipy-2019 Varelas 0.96 (1)1.9 (2)1.6 (1)2.2 (0.7)2.4 (0.6)2.9 (0.9)13 (14)15/15
GNN-CMA-ES Faury 4.2 (1)3.7 (5)10 (14)16 (31)18 (39)17 (38)17 (36)13/15
IPOP-CMA-ES-2019 Faury 1.6 (2)12 (6)26 (48)26 (44)25 (41)24 (41)23 (39)12/15
L-BFGS-B-scipy-2019 Varelas 2.7 (3)2.6 (0.6)2.6 (3)2.5 (3)2.4 (2)2.4 (2)2.4 (2)15/15
Nelder-Mead-scipy-2019 Varelas 5.5 (8)3.7 (5)3.5 (4)3.5 (4)3.3 (4)3.2 (4)3.1 (3)15/15
Powell-scipy-2019 Varelas 5.2 (10)13 (12)23 (28)23 (27)21 (26)21 (24)20 (24)15/15
RS-0p5-initIn0 Brockhoff 4.6e5 (7e5)2.5e5 (2e5)∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 4.6e5 (5e5)2.5e5 (3e5)∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 1.1e5 (2e5)7.1e4 (1e5)5.5e4 (8e4)5.4e4 (6e4)1.1e5 (8e4)∞∞3e60/15
RS-10-initIn0 Brockhoff 7.9 (9)21 (25)54 (80)388 (567)1606 (2429)5.2e4 (8e4)∞3e60/15
RS-10 Brockhoff 11 (9)30 (45)83 (110)478 (472)2667 (2524)1.1e5 (1e5)∞3e60/15
RS-1 Brockhoff 1.1e5 (2e5)7.1e4 (7e4)5.5e4 (8e4)5.4e4 (6e4)1.1e5 (1e5)∞∞3e60/15
RS-2-initIn0 Brockhoff 7.2 (4)8833 (2e4)5702 (1e4)1.3e4 (1e4)1.6e4 (3e4)2.1e4 (4e4)3.4e4 (3e4)0/15
RS-20-initIn0 Brockhoff 57 (83)214 (205)440 (413)4602 (6236)1.9e4 (3e4)5.2e4 (5e4)∞3e60/15
RS-20 Brockhoff 130 (131)126 (117)498 (442)3412 (5266)1.3e4 (1e4)∞∞3e60/15
RS-2 Brockhoff 16 (19)8829 (1e4)5655 (8475)1.3e4 (2e4)1.6e4 (3e4)2.1e4 (4e4)1.1e5 (1e5)1/15
RS-3-initIn0 Brockhoff 1.5 (2)1262 (4)1313 (4237)3030 (4162)2913 (4050)5576 (4495)∞3e60/15
RS-3 Brockhoff 1.4 (2)1263 (5)1328 (4238)3028 (4147)2893 (3923)4827 (6177)3.4e4 (5e4)0/15
RS-4-initIn0 Brockhoff 1.5 (1)2.4 (2)3.4 (5)21 (31)77 (82)3721 (3287)∞3e60/15
RS-5-initIn0 Brockhoff 2.1 (4)4.4 (4)10 (15)53 (46)163 (211)4677 (5779)1.0e5 (1e5)0/15
RS-6-initIn0 Brockhoff 2.5 (2)5.4 (5)15 (9)58 (68)358 (290)2.5e4 (3e4)∞3e60/15
RS-6 Brockhoff 2.7 (3)4.6 (5)15 (19)79 (68)367 (356)1.1e4 (7240)∞3e60/15
SLSQP-scipy-2019 Varelas 3.6 (3)1.4 (0.9)1.6 (1)1.6 (1)1.6 (1)1.6 (1)1.7 (1)15/15
TNC-scipy-2019 Varelas 22 (33)7.7 (12)15 (22)15 (21)15 (20)21 (19)40 (34)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.5 (3)6.2 (8)3.4 (4)3.3 (4)3.2 (4)3.1 (3)3.0 (3)15/15

Δ fopt
f23, 3-D		 1e1
3.0		 1e0
407		 1e-1
906		 1e-2
1215		 1e-3
2214		 1e-5
2293		 1e-7
2393		 #succ
15/15
Adaptive-Two-Mode Bodner 9.0 (11)5.6 (4)76 (51)92 (132)149 (228)213 (174)209 (327)8/15
BFGS-scipy-2019 Varelas 104 (235)53 (62)287 (471)3510 (5251)∞∞∞3e50/15
CG-scipy-2019 Varelas 96 (97)46 (37)4760 (5469)∞∞∞∞3e50/15
COBYLA-scipy-2019 Varelas 3.2 (3)0.73 (0.9)30 (38)∞∞∞∞3e50/15
DE-scipy-2019 Varelas 4.7 (5)10 (12)94 (133)158 (156)250 (311)1840 (2325)∞3e50/15
GNN-CMA-ES Faury 3.6 (4)4.9 (4)5.3 (6)4.5 (4)2.5 (2)2.6 (2)2.6 (2)15/15
IPOP-CMA-ES-2019 Faury 2.5 (2)4.7 (5)6.2 (6)4.8 (4)2.7 (2)2.7 (2)2.7 (2)15/15
L-BFGS-B-scipy-2019 Varelas 16 (9)17 (26)114 (95)404 (354)435 (429)1925 (2322)∞3e50/15
Nelder-Mead-scipy-2019 Varelas 3.3 (4)0.72 (1)1.4 (2)1.2 (1)0.73 (0.8)1853 (1963)∞3e50/15
Powell-scipy-2019 Varelas 6.5 (10)8.3 (7)287 (500)822 (761)∞∞∞3e50/15
RS-0p5-initIn0 Brockhoff 2.7 (2)21 (20)2.3e4 (2e4)∞∞∞∞3e60/15
RS-0p5 Brockhoff 3.0 (4)17 (15)1.0e4 (1e4)∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 3.2 (2)21 (23)1.5e4 (2e4)∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 9.4 (10)74 (53)∞∞∞∞∞3e60/15
RS-10 Brockhoff 16 (20)91 (135)∞∞∞∞∞3e60/15
RS-1 Brockhoff 1.9 (2)15 (17)1.6e4 (1e4)∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 2.8 (2)18 (15)1.5e4 (2e4)∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 73 (99)812 (1072)∞∞∞∞∞3e60/15
RS-20 Brockhoff 77 (107)610 (509)∞∞∞∞∞3e60/15
RS-2 Brockhoff 2.9 (3)13 (12)8403 (1e4)∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 3.2 (3)18 (13)4.9e4 (6e4)∞∞∞∞3e60/15
RS-3 Brockhoff 4.5 (3)11 (13)2.4e4 (3e4)∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 2.4 (2)20 (25)8337 (9049)∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 2.8 (3)18 (16)2.3e4 (2e4)∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 3.3 (3)16 (19)1.6e4 (2e4)∞∞∞∞3e60/15
RS-6 Brockhoff 2.9 (3)22 (20)1.6e4 (1e4)∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 617 (135)1539 (3556)4106 (7329)∞∞∞∞4e50/15
TNC-scipy-2019 Varelas 19 (20)27 (29)4863 (5633)∞∞∞∞3e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 5.4 (8)0.64 (0.8)1.1 (1)1.1 (1.0)0.65 (0.5)∞∞3e50/15

Δ fopt
f24, 3-D		 1e1
97		 1e0
10391		 1e-1
1.0e5		 1e-2
3.6e5		 1e-3
3.6e5		 1e-5
3.6e5		 1e-7
3.6e5		 #succ
2/15
Adaptive-Two-Mode Bodner 15 (5)52 (44)12 (12)11 (16)11 (14)11 (19)11 (12)2/15
BFGS-scipy-2019 Varelas 18 (19)13 (17)42 (54)∞∞∞∞3e50/15
CG-scipy-2019 Varelas 27 (41)21 (32)43 (60)∞∞∞∞3e50/15
COBYLA-scipy-2019 Varelas 12 (10)13 (16)∞∞∞∞∞3e50/15
DE-scipy-2019 Varelas 5.1 (5)3.8 (2)4.2 (6)3.7 (5)3.7 (4)3.7 (5)3.7 (4)3/15
GNN-CMA-ES Faury 2.0 (2)3.8 (4)∞∞∞∞∞3e40/15
IPOP-CMA-ES-2019 Faury 1.6 (1)8.4 (11)4.2 (4)∞∞∞∞3e40/15
L-BFGS-B-scipy-2019 Varelas 7.4 (7)8.7 (9)21 (19)12 (18)12 (10)12 (12)12 (14)1/15
Nelder-Mead-scipy-2019 Varelas 8.3 (10)11 (13)43 (40)∞∞∞∞3e50/15
Powell-scipy-2019 Varelas 47 (72)23 (23)44 (42)∞∞∞∞3e50/15
RS-0p5-initIn0 Brockhoff 483 (681)∞∞∞∞∞∞3e60/15
RS-0p5 Brockhoff 345 (285)∞∞∞∞∞∞3e60/15
RS-1-initIn0 Brockhoff 8.6 (13)∞∞∞∞∞∞3e60/15
RS-10-initIn0 Brockhoff 89 (143)903 (812)∞∞∞∞∞3e60/15
RS-10 Brockhoff 118 (107)4198 (4547)∞∞∞∞∞3e60/15
RS-1 Brockhoff 10 (11)∞∞∞∞∞∞3e60/15
RS-2-initIn0 Brockhoff 2.4 (2)16 (14)∞∞∞∞∞3e60/15
RS-20-initIn0 Brockhoff 907 (1162)∞∞∞∞∞∞3e60/15
RS-20 Brockhoff 1078 (1163)∞∞∞∞∞∞3e60/15
RS-2 Brockhoff 2.9 (4)25 (24)∞∞∞∞∞3e60/15
RS-3-initIn0 Brockhoff 4.5 (4)80 (68)∞∞∞∞∞3e60/15
RS-3 Brockhoff 5.4 (7)60 (68)∞∞∞∞∞3e60/15
RS-4-initIn0 Brockhoff 7.3 (7)247 (285)∞∞∞∞∞3e60/15
RS-5-initIn0 Brockhoff 12 (12)335 (418)∞∞∞∞∞3e60/15
RS-6-initIn0 Brockhoff 22 (24)685 (874)∞∞∞∞∞3e60/15
RS-6 Brockhoff 16 (11)396 (330)∞∞∞∞∞3e60/15
SLSQP-scipy-2019 Varelas 6.4 (6)10 (11)44 (47)∞∞∞∞3e50/15
TNC-scipy-2019 Varelas 72 (40)32 (37)∞∞∞∞∞3e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 6.2 (5)14 (16)∞∞∞∞∞3e50/15

Previous dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D		 1e1
11		 1e0
12		 1e-1
12		 1e-2
12		 1e-3
12		 1e-5
12		 1e-7
12		 #succ
15/15
Adaptive-Two-Mode Bodner 28 (41)64 (47)104 (53)162 (101)205 (95)290 (114)397 (150)15/15
BFGS-scipy-2019 Varelas 1.9 (0.3)2.0 (0.3)2.1 (0.3)2.1 (0.3)2.1 (0.3)2.1 (0.3)2.1 (0.3)15/15
CG-scipy-2019 Varelas 1.7 (0.6)2.1 (0.6)2.2 (0.6)2.2 (0.6)2.2 (0.6)2.2 (0.6)2.3 (0.6)15/15
COBYLA-scipy-2019 Varelas 1.1 (0.4)1.4 (0.3)2.2 (0.6)3.1 (0.4)4.0 (0.5)5.8 (0.8)7.7 (0.9)15/15
DE-scipy-2019 Varelas 5.7 (4)35 (17)62 (19)69 (25)70 (25)70 (25)70 (25)15/15
GNN-CMA-ES Faury 3.0 (2)12 (4)19 (5)27 (9)34 (5)47 (6)60 (6)15/15
IPOP-CMA-ES-2019 Faury 3.2 (3)10 (4)17 (5)23 (5)29 (6)41 (6)54 (7)15/15
L-BFGS-B-scipy-2019 Varelas 1.3 (0.5)1.2 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)15/15
Nelder-Mead-scipy-2019 Varelas 8.7 (9)19 (14)24 (14)28 (11)31 (12)35 (12)40 (12)15/15
Powell-scipy-2019 Varelas 2.9 (1)3.3 (0.8)3.7 (0.1)3.7 (0.2)3.7 (0.2)3.8 (0.2)3.8 (0.2)15/15
RS-0p5-initIn0 Brockhoff 1.8e6 (2e6)∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff 1.8e6 (2e6)∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 9.1e5 (2e6)∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 200 (235)8.1e4 (9e4)6.0e6 (6e6)∞∞∞∞5e60/15
RS-10 Brockhoff 254 (312)4.7e4 (7e4)∞∞∞∞∞5e60/15
RS-1 Brockhoff 9.1e5 (1e6)∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 7.0e4 (2e5)1.7e6 (2e6)∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 5917 (4383)8.4e5 (8e5)∞∞∞∞∞5e60/15
RS-20 Brockhoff 3386 (3735)1.8e6 (3e6)∞∞∞∞∞5e60/15
RS-2 Brockhoff 7.0e4 (2e5)1.7e6 (3e6)∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 3.8 (6)2.8e5 (4e5)1.2e6 (2e6)∞∞∞∞5e60/15
RS-3 Brockhoff 12 (15)2.5e5 (4e5)1.3e6 (1e6)∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 6.1 (7)788 (634)1.8e5 (2e5)∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 6.7 (9)2075 (2278)2.5e5 (3e5)6.1e6 (7e6)∞∞∞5e60/15
RS-6-initIn0 Brockhoff 21 (29)4782 (3729)6.3e5 (8e5)∞∞∞∞5e60/15
RS-6 Brockhoff 15 (10)4054 (4511)1.4e6 (1e6)∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 0.85 (0)↑00.83 (0)★2↑00.83 (0)★4↑00.83 (0)★4↑00.83 (0)★4↑00.83 (0)★4↑00.83 (0)★4↑015/15
TNC-scipy-2019 Varelas 6.3 (4)14 (7)21 (8)28 (11)34 (16)56 (34)127 (79)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 7.9 (7)15 (6)19 (6)22 (6)25 (6)30 (6)35 (6)15/15

Δ fopt
f2, 5-D		 1e1
83		 1e0
87		 1e-1
88		 1e-2
89		 1e-3
90		 1e-5
92		 1e-7
94		 #succ
15/15
Adaptive-Two-Mode Bodner 47 (32)87 (69)102 (67)129 (58)161 (81)304 (188)1049 (698)15/15
BFGS-scipy-2019 Varelas 2.1 (0.7)2.2 (0.7)2.3 (0.8)2.5 (0.9)2.7 (1)3.2 (1)3.6 (1)15/15
CG-scipy-2019 Varelas 59 (62)153 (88)327 (439)628 (813)1198 (1110)2.4e4 (3e4)∞5e50/15
COBYLA-scipy-2019 Varelas 2077 (3021)∞∞∞∞∞∞5e50/15
DE-scipy-2019 Varelas 17 (2)23 (2)27 (3)30 (3)35 (14)39 (17)99 (94)15/15
GNN-CMA-ES Faury 35 (24)58 (30)80 (32)86 (39)89 (44)90 (47)90 (47)15/15
IPOP-CMA-ES-2019 Faury 8.3 (2)10 (2)11 (1)11 (1)12 (1)14 (1)15 (1)15/15
L-BFGS-B-scipy-2019 Varelas 3.7 (1)5.0 (1)5.7 (1)5.9 (1)6.1 (1)6.7 (2)7.1 (2)15/15
Nelder-Mead-scipy-2019 Varelas 11 (12)15 (14)22 (18)23 (17)23 (17)23 (17)23 (16)15/15
Powell-scipy-2019 Varelas 0.92 (0.4)1.1 (0.3)1.3 (0.1)1.3 (0.1)1.3 (0.0)1.6 (0.4)2.0 (0.1)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-6 Brockhoff ∞∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 1.3 (0.6)1.3 (0.5)1.4 (0.5)1.5 (0.6)1.7 (0.6)1.8 (0.6)2.0 (0.6)15/15
TNC-scipy-2019 Varelas 10 (5)12 (7)15 (6)17 (6)19 (7)26 (21)84 (99)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 12 (4)12 (6)13 (6)13 (5)13 (5)14 (5)14 (5)15/15

Δ fopt
f3, 5-D		 1e1
716		 1e0
1622		 1e-1
1637		 1e-2
1642		 1e-3
1646		 1e-5
1650		 1e-7
1654		 #succ
15/15
Adaptive-Two-Mode Bodner 3.9 (5)14 (10)26 (12)26 (12)27 (11)28 (11)30 (10)15/15
BFGS-scipy-2019 Varelas 97 (125)∞∞∞∞∞∞5e50/15
CG-scipy-2019 Varelas 160 (184)4347 (4782)∞∞∞∞∞5e50/15
COBYLA-scipy-2019 Varelas 9.0 (9)481 (617)2188 (2166)2181 (2208)2176 (2837)4541 (2576)∞5e50/15
DE-scipy-2019 Varelas 2.2 (1)6.3 (3)19 (25)19 (25)19 (25)19 (25)47 (90)13/15
GNN-CMA-ES Faury 2.2 (2)16 (18)67 (86)67 (62)67 (69)68 (107)68 (83)5/15
IPOP-CMA-ES-2019 Faury 0.73 (0.6)8.7 (11)70 (86)70 (95)70 (92)70 (79)71 (85)5/15
L-BFGS-B-scipy-2019 Varelas 60 (51)4415 (3776)∞∞∞∞∞5e50/15
Nelder-Mead-scipy-2019 Varelas 133 (138)∞∞∞∞∞∞5e50/15
Powell-scipy-2019 Varelas 1.4 (1)16 (38)72 (80)72 (79)72 (79)71 (79)71 (79)14/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 2.9e4 (3e4)∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 2.9e4 (4e4)∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 6466 (7242)∞∞∞∞∞∞5e60/15
RS-3 Brockhoff 5998 (6099)∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 1820 (3008)∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 5847 (6760)∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 6988 (6134)∞∞∞∞∞∞5e60/15
RS-6 Brockhoff 1.1e4 (1e4)∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 31 (52)958 (972)∞∞∞∞∞5e50/15
TNC-scipy-2019 Varelas 336 (435)∞∞∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 200 (269)∞∞∞∞∞∞5e50/15

Δ fopt
f4, 5-D		 1e1
809		 1e0
1633		 1e-1
1688		 1e-2
1758		 1e-3
1817		 1e-5
1886		 1e-7
1903		 #succ
15/15
Adaptive-Two-Mode Bodner 4.0 (2)18 (15)39 (36)38 (34)37 (33)38 (30)39 (33)15/15
BFGS-scipy-2019 Varelas 132 (166)∞∞∞∞∞∞5e50/15
CG-scipy-2019 Varelas 550 (717)4543 (5672)4395 (4153)4220 (5127)4083 (5648)3934 (3450)3899 (3814)1/15
COBYLA-scipy-2019 Varelas 20 (24)1349 (1825)∞∞∞∞∞5e50/15
DE-scipy-2019 Varelas 2.5 (1)13 (8)34 (21)32 (21)32 (20)30 (19)184 (249)4/15
GNN-CMA-ES Faury 2.2 (2)∞∞∞∞∞∞5e40/15
IPOP-CMA-ES-2019 Faury 2.1 (3)∞∞∞∞∞∞5e40/15
L-BFGS-B-scipy-2019 Varelas 169 (116)∞∞∞∞∞∞5e50/15
Nelder-Mead-scipy-2019 Varelas 108 (121)∞∞∞∞∞∞5e50/15
Powell-scipy-2019 Varelas 0.44 (0.6)★3.4 (4)29 (37)28 (35)27 (34)26 (33)26 (33)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10 Brockhoff 8.8e4 (1e5)∞∞∞∞∞∞5e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 1.9e4 (2e4)∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 1.8e4 (2e4)∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 7094 (6638)∞∞∞∞∞∞5e60/15
RS-3 Brockhoff 7572 (8757)∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 4157 (6602)∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 8.9e4 (8e4)∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 2.1e4 (2e4)∞∞∞∞∞∞5e60/15
RS-6 Brockhoff 4.2e4 (4e4)∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 82 (75)4550 (5207)∞∞∞∞∞5e50/15
TNC-scipy-2019 Varelas 1163 (1443)∞∞∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 126 (97)2190 (2756)∞∞∞∞∞5e50/15

Δ fopt
f5, 5-D		 1e1
10		 1e0
10		 1e-1
10		 1e-2
10		 1e-3
10		 1e-5
10		 1e-7
10		 #succ
15/15
Adaptive-Two-Mode Bodner 27 (18)29 (18)29 (18)29 (18)29 (18)29 (18)29 (18)15/15
BFGS-scipy-2019 Varelas 2.6 (0.3)3.9 (0.3)4.2 (0.3)4.2 (0.3)4.2 (0.3)4.2 (0.3)4.2 (0.3)15/15
CG-scipy-2019 Varelas 2.5 (0.3)3.7 (1)3.9 (0.7)3.9 (0.7)3.9 (0.7)3.9 (0.7)3.9 (0.7)15/15
COBYLA-scipy-2019 Varelas 2.2 (0.7)3.0 (0.7)3.3 (0.8)3.3 (0.8)3.3 (0.8)3.3 (0.8)3.3 (0.8)15/15
DE-scipy-2019 Varelas 50 (16)181 (77)288 (180)304 (218)304 (218)304 (218)304 (218)15/15
GNN-CMA-ES Faury 5.5 (2)7.7 (2)7.9 (2)7.9 (2)7.9 (2)7.9 (2)7.9 (2)15/15
IPOP-CMA-ES-2019 Faury 4.5 (3)6.1 (2)6.4 (3)6.5 (3)6.5 (3)6.5 (3)6.5 (3)15/15
L-BFGS-B-scipy-2019 Varelas 2.2 (0.3)2.7 (0.3)2.8 (0.3)2.8 (0.3)2.8 (0.3)2.8 (0.3)2.8 (0.3)15/15
Nelder-Mead-scipy-2019 Varelas 20 (25)23 (29)23 (29)23 (29)23 (29)23 (29)23 (29)15/15
Powell-scipy-2019 Varelas 6.5 (0.4)6.5 (0.4)6.5 (0.4)6.5 (0.4)6.5 (0.4)6.5 (0.4)6.5 (0.4)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 15 (14)69 (69)80 (76)83 (70)83 (70)83 (70)83 (70)15/15
RS-10 Brockhoff 13 (18)49 (29)53 (28)70 (84)70 (84)70 (84)70 (84)15/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 7.9 (8)18 (16)18 (16)18 (16)18 (16)18 (16)18 (16)15/15
RS-20 Brockhoff 5.4 (8)14 (19)20 (25)20 (25)20 (25)20 (25)20 (25)15/15
RS-2 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 4430 (3529)∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 125 (164)7737 (6962)1.6e4 (1e4)1.7e4 (2e4)1.7e4 (2e4)1.7e4 (2e4)1.7e4 (2e4)15/15
RS-6 Brockhoff 115 (110)5387 (4972)1.7e4 (2e4)1.8e4 (2e4)2.0e4 (2e4)2.0e4 (2e4)2.0e4 (2e4)15/15
SLSQP-scipy-2019 Varelas 1.5 (0.3)2.7 (0.3)2.8 (0.3)2.8 (0.3)2.8 (0.3)2.8 (0.3)2.8 (0.3)15/15
TNC-scipy-2019 Varelas 4.8 (3)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)6.5 (2)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 12 (7)14 (6)14 (7)14 (7)14 (7)14 (7)14 (7)15/15

Δ fopt
f6, 5-D		 1e1
114		 1e0
214		 1e-1
281		 1e-2
404		 1e-3
580		 1e-5
1038		 1e-7
1332		 #succ
15/15
Adaptive-Two-Mode Bodner 16 (10)16 (9)16 (8)16 (7)14 (7)12 (4)16 (6)15/15
BFGS-scipy-2019 Varelas 4.3 (2)3.4 (2)3.3 (2)3.2 (2)2.6 (1)2.4 (2)2.8 (2)15/15
CG-scipy-2019 Varelas 5.7 (4)5.1 (2)5.4 (2)4.7 (2)4.4 (2)3.3 (0.9)5.3 (4)15/15
COBYLA-scipy-2019 Varelas 41 (86)155 (299)900 (1213)2099 (3698)3766 (7330)6843 (6339)∞5e50/15
DE-scipy-2019 Varelas 5.1 (2)7.4 (3)11 (3)11 (4)10 (6)18 (18)287 (478)3/15
GNN-CMA-ES Faury 2.4 (0.4)2.0 (0.6)2.3 (0.5)2.1 (0.5)1.7 (0.4)1.3 (0.2)1.3 (0.2)15/15
IPOP-CMA-ES-2019 Faury 2.1 (0.8)1.8 (0.5)2.0 (0.5)1.7 (0.3)1.5 (0.3)1.2 (0.1)1.2 (0.1)15/15
L-BFGS-B-scipy-2019 Varelas 1.9 (2)2.1 (2)2.3 (1)2.2 (1)1.8 (1.0)1.4 (0.7)1.3 (0.5)15/15
Nelder-Mead-scipy-2019 Varelas 10 (8)11 (10)14 (12)21 (38)25 (32)33 (32)5357 (5161)0/15
Powell-scipy-2019 Varelas 6.3 (7)8.3 (8)7.5 (7)6.5 (5)5.3 (4)3.4 (2)3.2 (2)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 6810 (8319)∞∞∞∞∞∞5e60/15
RS-10 Brockhoff 5782 (7856)∞∞∞∞∞∞5e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 2.1e5 (2e5)∞∞∞∞∞∞5e60/15
RS-20 Brockhoff 1.3e5 (2e5)∞∞∞∞∞∞5e60/15
RS-2 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 2.3e4 (2e4)3.3e5 (2e5)∞∞∞∞∞5e60/15
RS-3 Brockhoff 3.2e4 (5e4)3.3e5 (5e5)∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 3333 (512)2.4e4 (3e4)∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 169 (161)7.5e4 (8e4)∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 303 (345)1.1e5 (8e4)∞∞∞∞∞5e60/15
RS-6 Brockhoff 329 (298)1.0e5 (2e5)∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 2.6 (1)2.1 (1)2.0 (0.7)1.8 (0.9)1.5 (0.5)1.1 (0.4)1.3 (0.7)15/15
TNC-scipy-2019 Varelas 5.1 (5)7.1 (6)8.0 (4)12 (11)12 (8)295 (542)∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 8.6 (7)6.6 (4)5.8 (4)4.5 (3)3.3 (2)2.2 (1)28 (23)0/15

Δ fopt
f7, 5-D		 1e1
24		 1e0
324		 1e-1
1171		 1e-2
1451		 1e-3
1572		 1e-5
1572		 1e-7
1597		 #succ
15/15
Adaptive-Two-Mode Bodner 27 (25)8.4 (5)20 (31)19 (26)24 (26)24 (26)24 (26)15/15
BFGS-scipy-2019 Varelas 298 (428)2.2e4 (2e4)∞∞∞∞∞5e50/15
CG-scipy-2019 Varelas 344 (507)6985 (7631)∞∞∞∞∞5e50/15
COBYLA-scipy-2019 Varelas 5.4 (8)29 (40)198 (218)1536 (1630)∞∞∞5e50/15
DE-scipy-2019 Varelas 12 (8)3.4 (2)17 (13)267 (375)503 (559)503 (402)700 (748)2/15
GNN-CMA-ES Faury 4.1 (2)2.0 (2)1.4 (1)1.4 (1)1.6 (1)1.6 (1)1.6 (2)15/15
IPOP-CMA-ES-2019 Faury 3.1 (3)1.1 (1)0.71 (0.4)0.66 (0.3)↑00.71 (0.3)↑10.71 (0.3)↑10.73 (0.3)↑115/15
L-BFGS-B-scipy-2019 Varelas 329 (428)3982 (3122)∞∞∞∞∞5e50/15
Nelder-Mead-scipy-2019 Varelas 1054 (1408)2488 (3043)∞∞∞∞∞5e50/15
Powell-scipy-2019 Varelas 48 (11)219 (140)255 (461)1519 (1436)4473 (5408)4473 (5567)4403 (7280)1/15
RS-0p5-initIn0 Brockhoff 8.3e5 (1e6)∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff 8.3e5 (1e6)∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 5.7e5 (9e5)∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 1977 (2479)3.8e4 (5e4)∞∞∞∞∞5e60/15
RS-10 Brockhoff 989 (866)5.1e4 (3e4)∞∞∞∞∞5e60/15
RS-1 Brockhoff 5.7e5 (5e5)∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 7.8e4 (2e5)2.4e4 (3e4)2.9e4 (3e4)∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 3.7e4 (6e4)∞∞∞∞∞∞5e60/15
RS-20 Brockhoff 3.6e4 (4e4)1.1e5 (1e5)∞∞∞∞∞5e60/15
RS-2 Brockhoff 7.6e4 (2e5)2.0e4 (2e4)3.0e4 (2e4)∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 81 (156)7968 (7780)1.9e4 (3e4)∞∞∞∞5e60/15
RS-3 Brockhoff 125 (28)1.0e4 (1e4)∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 34 (43)599 (610)∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 31 (42)747 (838)6.4e4 (4e4)∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 103 (110)3407 (3914)∞∞∞∞∞5e60/15
RS-6 Brockhoff 84 (107)3911 (3859)∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 348 (321)4954 (5787)∞∞∞∞∞5e50/15
TNC-scipy-2019 Varelas 618 (765)2.2e4 (3e4)∞∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 4594 (3065)6722 (6904)6097 (9074)4921 (6720)4542 (3737)4542 (6838)4471 (4775)1/15

Δ fopt
f8, 5-D		 1e1
73		 1e0
273		 1e-1
336		 1e-2
372		 1e-3
391		 1e-5
410		 1e-7
422		 #succ
15/15
Adaptive-Two-Mode Bodner 19 (13)283 (560)385 (436)524 (508)696 (571)1600 (1361)4373 (3382)2/15
BFGS-scipy-2019 Varelas 2.7 (1)1.9 (2)1.7 (1)1.7 (1)1.6 (1)1.6 (1)1.6 (1.0)15/15
CG-scipy-2019 Varelas 1.6 (0.7)1.8 (2)2.2 (2)2.4 (2)2.6 (2)2.9 (2)3.1 (2)15/15
COBYLA-scipy-2019 Varelas 2.1 (0.6)26 (46)36 (47)1416 (1975)3126 (3343)∞∞5e50/15
DE-scipy-2019 Varelas 13 (5)10 (5)10 (4)9.3 (3)8.9 (3)8.5 (3)8.3 (3)15/15
GNN-CMA-ES Faury 3.4 (1)2.9 (0.7)3.5 (0.4)3.7 (0.5)3.9 (0.5)4.1 (0.4)4.4 (0.4)15/15
IPOP-CMA-ES-2019 Faury 2.9 (0.9)3.9 (4)4.1 (4)4.3 (3)4.4 (3)4.6 (3)4.8 (3)15/15
L-BFGS-B-scipy-2019 Varelas 1.2 (0.8)0.77 (0.4)0.81 (0.3)0.81 (0.3)0.81 (0.3)0.82 (0.3)0.82 (0.3)15/15
Nelder-Mead-scipy-2019 Varelas 4.9 (3)3.5 (4)3.2 (3)3.3 (2)3.2 (2)3.2 (2)3.3 (2)15/15
Powell-scipy-2019 Varelas 2.7 (1)4.3 (7)4.3 (7)4.3 (6)4.4 (6)4.5 (5)4.7 (5)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 1.0e6 (9e5)∞∞∞∞∞∞5e60/15
RS-10 Brockhoff 3.1e5 (3e5)∞∞∞∞∞∞5e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 8.5e4 (1e5)2.7e5 (2e5)∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 8.6e4 (7e4)2.6e5 (4e5)∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 9902 (1e4)∞∞∞∞∞∞5e60/15
RS-3 Brockhoff 8365 (1e4)∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 1.0e4 (9426)∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 2.7e4 (3e4)∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 6.5e4 (7e4)∞∞∞∞∞∞5e60/15
RS-6 Brockhoff 7.2e4 (1e5)∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 1.4 (0.9)1.2 (1)1.2 (0.9)1.1 (0.8)1.1 (0.7)1.1 (0.7)1.1 (0.7)15/15
TNC-scipy-2019 Varelas 3.3 (2)11 (14)15 (16)22 (21)27 (24)82 (77)457 (616)7/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.6 (2)2.6 (1)2.5 (1)2.4 (1)2.4 (1)2.5 (1.0)2.5 (1.0)15/15

Δ fopt
f9, 5-D		 1e1
35		 1e0
127		 1e-1
214		 1e-2
263		 1e-3
300		 1e-5
335		 1e-7
369		 #succ
15/15
Adaptive-Two-Mode Bodner 4.3 (5)15 (9)92 (58)261 (176)478 (291)1368 (591)6094 (4840)1/15
BFGS-scipy-2019 Varelas 4.1 (2)3.3 (3)2.3 (2)2.0 (1)1.8 (1)1.7 (1)1.6 (1)15/15
CG-scipy-2019 Varelas 3.0 (0.9)3.6 (4)3.5 (3)3.6 (2)3.6 (2)3.7 (2)3.7 (2)15/15
COBYLA-scipy-2019 Varelas 4.0 (3)10 (19)30 (26)3472 (5461)1.1e4 (2e4)2.2e4 (1e4)∞5e50/15
DE-scipy-2019 Varelas 34 (11)25 (10)18 (7)15 (6)13 (5)12 (4)12 (7)15/15
GNN-CMA-ES Faury 5.4 (1)5.2 (3)5.2 (2)5.0 (1)4.8 (1)4.8 (1)4.7 (1)15/15
IPOP-CMA-ES-2019 Faury 6.0 (2)8.3 (8)6.8 (5)6.2 (5)5.8 (4)5.7 (4)5.7 (3)15/15
L-BFGS-B-scipy-2019 Varelas 1.6 (0.9)1.4 (1)1.1 (0.6)1.1 (0.5)0.97 (0.4)0.92 (0.4)0.86 (0.4)15/15
Nelder-Mead-scipy-2019 Varelas 6.0 (4)6.5 (5)5.4 (4)4.6 (3)4.2 (3)3.9 (2)3.6 (2)15/15
Powell-scipy-2019 Varelas 4.3 (1)10 (11)8.1 (7)7.4 (6)6.8 (5)6.6 (5)6.3 (4)15/15
RS-0p5-initIn0 Brockhoff 6.6 (8)673 (843)∞∞∞∞∞5e60/15
RS-0p5 Brockhoff 3.4 (3)1436 (1471)∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 22 (18)6453 (6669)1.1e5 (1e5)∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1 Brockhoff 26 (37)2950 (2486)∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 742 (637)1.3e5 (2e5)3.4e5 (6e5)∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 659 (600)2.8e5 (3e5)∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 4970 (4540)∞∞∞∞∞∞5e60/15
RS-3 Brockhoff 3390 (4369)5.7e5 (5e5)∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 2.0e4 (3e4)∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 7.5e4 (6e4)∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 6.8e4 (9e4)∞∞∞∞∞∞5e60/15
RS-6 Brockhoff 1.1e5 (1e5)∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 2.9 (0.8)2.5 (2)1.7 (1)1.5 (1)1.4 (1)1.3 (0.9)1.2 (0.8)15/15
TNC-scipy-2019 Varelas 7.0 (6)16 (30)16 (24)21 (19)28 (25)107 (113)480 (750)5/15
adapt-Nelder-Mead-scipy-2019 Varelas 6.7 (4)4.1 (3)3.2 (2)2.8 (2)2.6 (1)2.6 (1)2.5 (1)15/15

Δ fopt
f10, 5-D		 1e1
349		 1e0
500		 1e-1
574		 1e-2
607		 1e-3
626		 1e-5
829		 1e-7
880		 #succ
15/15
Adaptive-Two-Mode Bodner 233 (485)1096 (1941)5390 (5256)2.4e4 (3e4)∞∞∞1e60/15
BFGS-scipy-2019 Varelas 0.40 (0.2)↑00.30 (0.1)↑00.28 (0.1)↑00.30 (0.1)↑00.33 (0.2)↑00.70 (0.8)18 (30)15/15
CG-scipy-2019 Varelas 10 (7)27 (30)65 (72)230 (436)811 (899)8682 (8842)∞5e50/15
COBYLA-scipy-2019 Varelas 1686 (1486)∞∞∞∞∞∞5e50/15
DE-scipy-2019 Varelas 12 (3)12 (2)13 (2)13 (3)17 (9)37 (24)714 (1283)2/15
GNN-CMA-ES Faury 5.8 (5)6.8 (5)8.0 (7)8.7 (7)8.8 (7)6.9 (5)6.7 (5)15/15
IPOP-CMA-ES-2019 Faury 2.0 (0.5)1.7 (0.3)1.7 (0.2)1.7 (0.2)1.8 (0.2)1.5 (0.1)1.6 (0.2)15/15
L-BFGS-B-scipy-2019 Varelas 0.93 (0.6)0.88 (0.3)0.85 (0.2)0.86 (0.2)0.87 (0.1)1.0 (1)11 (11)15/15
Nelder-Mead-scipy-2019 Varelas 5.0 (4)4.7 (3)5.3 (5)5.3 (5)5.2 (5)4.0 (4)3.8 (4)15/15
Powell-scipy-2019 Varelas 5.3 (3)4.2 (1)3.8 (1)3.8 (1)3.8 (1)3.0 (0.7)3.0 (0.7)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-6 Brockhoff ∞∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 0.28 (0.1)↑00.21 (0.1)↑00.20 (0.1)↑00.21 (0.1)↑00.23 (0.1)↑00.25 (0.1)★↑0888 (1933)7/15
TNC-scipy-2019 Varelas 21 (22)69 (67)239 (245)650 (802)1354 (1452)∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.1 (3)2.7 (2)2.4 (1)2.5 (2)2.5 (2)2.0 (1)1.9 (1)15/15

Δ fopt
f11, 5-D		 1e1
143		 1e0
202		 1e-1
763		 1e-2
977		 1e-3
1177		 1e-5
1467		 1e-7
1673		 #succ
15/15
Adaptive-Two-Mode Bodner 31 (22)52 (28)30 (13)35 (15)45 (13)67 (21)103 (38)15/15
BFGS-scipy-2019 Varelas 0.41 (0.2)↑00.37 (0.2)↑00.13 (0.1)↑00.12 (0.1)↑00.12 (0.1)↑01.6 (2)34 (35)5/15
CG-scipy-2019 Varelas 1.5 (0.7)2.1 (1)0.81 (0.5)0.74 (0.4)0.89 (0.5)12 (17)4215 (5987)0/15
COBYLA-scipy-2019 Varelas 6.8 (8)448 (413)4591 (6664)∞∞∞∞5e50/15
DE-scipy-2019 Varelas 14 (4)18 (5)8.7 (3)13 (9)24 (30)317 (457)∞5e50/15
GNN-CMA-ES Faury 19 (20)25 (16)8.6 (4)7.3 (4)6.5 (3)5.4 (3)4.9 (2)15/15
IPOP-CMA-ES-2019 Faury 3.8 (0.8)3.2 (0.4)0.97 (0.2)0.84 (0.1)↑10.76 (0.1)↑00.71 (0.1)↑00.72 (0.1)★↑015/15
L-BFGS-B-scipy-2019 Varelas 0.90 (0.4)0.96 (0.3)0.40 (0.1)↑00.43 (0.2)↑00.72 (0.5)2.0 (3)164 (251)4/15
Nelder-Mead-scipy-2019 Varelas 8.7 (6)16 (16)8.3 (5)7.3 (6)7.5 (10)10 (11)8.8 (10)15/15
Powell-scipy-2019 Varelas 10 (7)11 (4)3.3 (0.7)2.6 (0.6)2.3 (0.5)1.9 (0.5)1.7 (0.4)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 2.3e5 (3e5)∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 1.3e4 (2e4)∞∞∞∞∞∞5e60/15
RS-10 Brockhoff 1.2e4 (1e4)∞∞∞∞∞∞5e60/15
RS-1 Brockhoff 2.3e5 (2e5)∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 9577 (2e4)∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 1.6e5 (2e5)∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 1.2e4 (2e4)∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 1914 (1452)5.9e4 (7e4)∞∞∞∞∞5e60/15
RS-3 Brockhoff 2807 (673)4.5e4 (7e4)∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 712 (772)3.7e4 (4e4)∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 472 (623)4.4e4 (5e4)∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 1096 (1094)3.7e5 (3e5)∞∞∞∞∞5e60/15
RS-6 Brockhoff 869 (743)1.7e5 (3e5)∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 0.33 (0.1)↑00.28 (0.1)↑00.09 (0.0)↑00.08 (0.0)↑00.09 (0.1)↑0149 (315)1735 (1852)0/15
TNC-scipy-2019 Varelas 4.6 (5)8.0 (8)4.0 (2)4.7 (2)7.2 (5)216 (248)∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 8.2 (6)10 (6)3.1 (2)2.9 (2)2.4 (1)2.3 (1)2.0 (1)15/15

Δ fopt
f12, 5-D		 1e1
108		 1e0
268		 1e-1
371		 1e-2
413		 1e-3
461		 1e-5
1303		 1e-7
1494		 #succ
15/15
Adaptive-Two-Mode Bodner 6200 (1e4)1.0e4 (1e4)∞∞∞∞∞1e60/15
BFGS-scipy-2019 Varelas 7.9 (7)4.5 (4)4.0 (3)3.8 (3)3.7 (2)5.5 (1)20 (30)10/15
CG-scipy-2019 Varelas 4.2 (6)4.4 (5)4.6 (5)5.2 (5)5.5 (5)31 (51)240 (400)9/15
COBYLA-scipy-2019 Varelas 0.81 (0.5)1.1 (1)2.8 (2)14 (17)619 (706)∞∞5e50/15
DE-scipy-2019 Varelas 50 (23)29 (12)25 (8)25 (7)23 (6)12 (5)701 (937)4/15
GNN-CMA-ES Faury 8.8 (10)11 (12)13 (10)14 (9)14 (8)6.1 (3)5.7 (3)15/15
IPOP-CMA-ES-2019 Faury 6.9 (4)4.8 (4)5.0 (4)5.4 (4)5.6 (4)2.5 (2)2.6 (2)15/15
L-BFGS-B-scipy-2019 Varelas 1.1 (1)0.98 (1)1.1 (1)1.2 (1)1.2 (1.0)1.1 (2)10 (3)15/15
Nelder-Mead-scipy-2019 Varelas 9.3 (12)7.4 (7)6.9 (6)8.1 (7)10 (8)7.2 (7)205 (179)7/15
Powell-scipy-2019 Varelas 8.9 (14)7.2 (8)7.0 (7)7.3 (7)7.3 (7)3.3 (3)3.3 (3)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-6 Brockhoff ∞∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 3.3 (5)1.9 (3)1.6 (2)1.6 (2)1.5 (2)0.77 (1)112 (42)12/15
TNC-scipy-2019 Varelas 59 (73)106 (107)127 (167)832 (493)985 (2494)618 (953)2.5e4 (3e4)1/15
adapt-Nelder-Mead-scipy-2019 Varelas 12 (10)7.2 (5)6.2 (4)6.5 (4)6.1 (4)3.0 (3)177 (185)8/15

Δ fopt
f13, 5-D		 1e1
132		 1e0
195		 1e-1
250		 1e-2
319		 1e-3
1310		 1e-5
1752		 1e-7
2255		 #succ
15/15
Adaptive-Two-Mode Bodner 5123 (7709)3.3e4 (4e4)∞∞∞∞∞1e60/15
BFGS-scipy-2019 Varelas 0.95 (0.1)0.90 (0.1)0.91 (0.1)↑00.87 (0.0)↑00.68 (0.7)1189 (1142)∞5e50/15
CG-scipy-2019 Varelas 4.9 (7)19 (31)85 (121)129 (169)172 (291)4017 (5857)∞5e50/15
COBYLA-scipy-2019 Varelas 1.9 (2)4.7 (6)9.1 (13)244 (296)∞∞∞5e50/15
DE-scipy-2019 Varelas 16 (3)20 (8)34 (30)49 (32)48 (55)272 (389)∞5e50/15
GNN-CMA-ES Faury 3.1 (2)4.7 (2)6.3 (3)6.8 (3)2.3 (1)2.5 (1)2.7 (1)15/15
IPOP-CMA-ES-2019 Faury 2.6 (1)3.0 (1.0)3.2 (0.7)3.3 (0.5)0.92 (0.2)1.0 (0.2)★21.00 (0.1)★315/15
L-BFGS-B-scipy-2019 Varelas 2.7 (3)4.1 (4)10 (23)14 (26)7.8 (17)25 (40)∞5e50/15
Nelder-Mead-scipy-2019 Varelas 5.2 (4)7.1 (6)8.8 (6)11 (14)5.3 (9)9.0 (10)3213 (4490)0/15
Powell-scipy-2019 Varelas 22 (32)94 (68)260 (395)366 (373)250 (245)517 (675)674 (502)3/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-3 Brockhoff 5.4e5 (7e5)∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-6 Brockhoff ∞∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 0.79 (0.1)↑00.75 (0.1)↑00.75 (0.0)★2↑00.73 (0.1)★4↑02190 (4739)∞∞4e60/15
TNC-scipy-2019 Varelas 15 (10)39 (37)148 (132)288 (323)179 (245)953 (682)∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 5.6 (6)6.7 (5)5.6 (4)5.1 (4)2.1 (2)6.1 (5)∞5e50/15

Δ fopt
f14, 5-D		 1e1
10		 1e0
41		 1e-1
58		 1e-2
90		 1e-3
139		 1e-5
251		 1e-7
476		 #succ
15/15
Adaptive-Two-Mode Bodner 14 (17)21 (25)26 (18)27 (11)30 (10)324 (159)∞1e60/15
BFGS-scipy-2019 Varelas 1.7 (0.7)0.88 (0.3)1.2 (0.4)1.1 (0.2)0.95 (0.1)0.81 (0.1)↑0276 (272)1/15
CG-scipy-2019 Varelas 1.8 (0.7)1.1 (0.7)1.3 (0.4)1.5 (0.3)1.8 (0.4)6.9 (6)3291 (2784)0/15
COBYLA-scipy-2019 Varelas 1.2 (0.6)0.61 (0.2)↑00.67 (0.1)↑00.87 (0.3)83 (79)∞∞5e50/15
DE-scipy-2019 Varelas 2.7 (3)7.3 (5)14 (5)11 (3)7.9 (2)7.0 (5)1722 (1577)0/15
GNN-CMA-ES Faury 2.5 (4)3.0 (1)3.8 (0.7)3.9 (0.8)3.9 (0.6)3.7 (0.5)3.0 (0.4)15/15
IPOP-CMA-ES-2019 Faury 1.4 (2)2.7 (1)3.7 (0.8)3.6 (1)3.6 (0.6)3.4 (0.5)2.6 (0.3)15/15
L-BFGS-B-scipy-2019 Varelas 1.1 (0.9)0.82 (0.4)0.93 (0.4)1.00 (0.3)0.96 (0.2)1.0 (0.2)93 (98)3/15
Nelder-Mead-scipy-2019 Varelas 7.7 (14)6.8 (6)6.8 (4)5.1 (3)3.7 (2)2.8 (0.9)1.9 (1)15/15
Powell-scipy-2019 Varelas 3.3 (3)2.4 (1)2.3 (1)2.8 (1)4.3 (2)6.2 (2)4.8 (1)15/15
RS-0p5-initIn0 Brockhoff 7.5e5 (1e6)∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff 7.5e5 (1e6)∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 3.6e5 (8e5)∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 12 (19)4093 (4782)∞∞∞∞∞5e60/15
RS-10 Brockhoff 16 (24)5372 (6697)∞∞∞∞∞5e60/15
RS-1 Brockhoff 3.4e5 (5e5)∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 7.7 (14)1.8e5 (2e5)5.7e5 (9e5)∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 526 (852)1.0e5 (1e5)∞∞∞∞∞5e60/15
RS-20 Brockhoff 782 (810)2.3e5 (2e5)∞∞∞∞∞5e60/15
RS-2 Brockhoff 9.5 (8)1.8e5 (2e5)5.7e5 (5e5)∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 1.4 (2)9298 (2553)1.3e5 (2e5)∞∞∞∞5e60/15
RS-3 Brockhoff 1.4 (2)1.0e4 (5745)1.4e5 (2e5)∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 1.0 (2)82 (125)2.9e4 (4e4)∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 2.4 (3)161 (140)7.9e4 (1e5)∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 2.2 (3)530 (314)3.9e5 (5e5)∞∞∞∞5e60/15
RS-6 Brockhoff 2.6 (3)267 (293)8.6e4 (6e4)∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 1.4 (0.4)0.77 (0.2)↑10.83 (0.3)0.83 (0.2)0.74 (0.2)★↑00.66 (0.1)★↑03666 (5472)0/15
TNC-scipy-2019 Varelas 7.3 (14)5.4 (5)6.3 (3)7.4 (4)10 (10)315 (470)1.5e4 (1e4)0/15
adapt-Nelder-Mead-scipy-2019 Varelas 7.1 (6)4.8 (2)4.7 (2)3.8 (1)3.0 (0.7)2.4 (0.3)1.7 (0.4)15/15

Δ fopt
f15, 5-D		 1e1
511		 1e0
9310		 1e-1
19369		 1e-2
19743		 1e-3
20073		 1e-5
20769		 1e-7
21359		 #succ
14/15
Adaptive-Two-Mode Bodner 29 (28)224 (171)226 (255)221 (183)218 (175)211 (214)205 (200)3/15
BFGS-scipy-2019 Varelas 103 (93)781 (712)∞∞∞∞∞5e50/15
CG-scipy-2019 Varelas 279 (300)∞∞∞∞∞∞5e50/15
COBYLA-scipy-2019 Varelas 33 (16)144 (180)∞∞∞∞∞5e50/15
DE-scipy-2019 Varelas 6.8 (6)4.9 (7)7.1 (7)7.0 (7)6.9 (7)6.7 (6)21 (18)2/15
GNN-CMA-ES Faury 2.7 (2)1.5 (0.9)1.4 (0.7)1.4 (0.7)1.4 (0.7)1.4 (0.7)1.4 (0.7)15/15
IPOP-CMA-ES-2019 Faury 1.6 (2)0.95 (0.5)0.91 (0.7)0.91 (0.7)0.91 (0.7)0.91 (0.7)0.91 (0.7)14/15
L-BFGS-B-scipy-2019 Varelas 74 (79)773 (873)372 (471)365 (399)359 (480)347 (608)337 (386)1/15
Nelder-Mead-scipy-2019 Varelas 278 (224)∞∞∞∞∞∞5e50/15
Powell-scipy-2019 Varelas 90 (105)387 (469)∞∞∞∞∞5e50/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 1.4e5 (2e5)∞∞∞∞∞∞5e60/15
RS-10 Brockhoff 7.1e4 (9e4)∞∞∞∞∞∞5e60/15
RS-1 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 6.4e4 (7e4)∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 6.7e4 (7e4)∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 5922 (9222)∞∞∞∞∞∞5e60/15
RS-3 Brockhoff 8538 (7925)∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 4061 (4693)∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 6092 (5205)∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 1.4e4 (2e4)∞∞∞∞∞∞5e60/15
RS-6 Brockhoff 9318 (8749)∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 27 (35)186 (218)384 (290)377 (526)371 (255)358 (518)348 (486)1/15
TNC-scipy-2019 Varelas 1088 (892)804 (646)∞∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 386 (349)799 (752)∞∞∞∞∞5e50/15

Δ fopt
f16, 5-D		 1e1
120		 1e0
612		 1e-1
2662		 1e-2
10163		 1e-3
10449		 1e-5
11644		 1e-7
12095		 #succ
15/15
Adaptive-Two-Mode Bodner 5.2 (2)136 (243)658 (940)697 (657)1411 (1317)1271 (1826)∞1e60/15
BFGS-scipy-2019 Varelas 352 (447)1.2e4 (2e4)∞∞∞∞∞5e50/15
CG-scipy-2019 Varelas 541 (387)∞∞∞∞∞∞5e50/15
COBYLA-scipy-2019 Varelas 0.65 (0.8)11 (15)41 (58)694 (898)∞∞∞5e50/15
DE-scipy-2019 Varelas 2.2 (2)28 (16)36 (73)29 (27)335 (351)∞∞5e50/15
GNN-CMA-ES Faury 2.8 (3)2.4 (2)1.6 (1)0.59 (0.3)↑00.67 (0.3)↑10.63 (0.2)↑10.64 (0.2)↑115/15
IPOP-CMA-ES-2019 Faury 3.0 (2)3.5 (3)1.8 (1)0.64 (0.6)0.70 (0.5)0.66 (0.5)0.67 (0.5)15/15
L-BFGS-B-scipy-2019 Varelas 67 (82)3837 (2263)∞∞∞∞∞5e50/15
Nelder-Mead-scipy-2019 Varelas 20 (24)95 (116)471 (652)727 (812)707 (610)∞∞5e50/15
Powell-scipy-2019 Varelas 27 (21)104 (152)569 (842)∞∞∞∞5e50/15
RS-0p5-initIn0 Brockhoff 1.7e4 (2e4)∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff 1.6e4 (2e4)∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 8.6 (15)1.7e4 (3e4)∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 43 (45)6155 (8202)∞∞∞∞∞5e60/15
RS-10 Brockhoff 31 (37)7557 (8237)∞∞∞∞∞5e60/15
RS-1 Brockhoff 13 (25)1.4e4 (1e4)∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 2.7 (3)347 (380)2.8e4 (3e4)∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 1012 (1315)1.2e5 (1e5)∞∞∞∞∞5e60/15
RS-20 Brockhoff 1181 (1140)∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 3.9 (5)415 (462)∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 3.8 (4)743 (1355)∞∞∞∞∞5e60/15
RS-3 Brockhoff 2.4 (2)292 (249)∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 2.7 (3)553 (589)∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 2.6 (3)288 (279)∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 3.1 (3)429 (500)∞∞∞∞∞5e60/15
RS-6 Brockhoff 2.3 (3)556 (541)∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 7074 (7013)∞∞∞∞∞∞7e50/15
TNC-scipy-2019 Varelas 277 (257)∞∞∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 35 (36)198 (258)842 (575)708 (996)∞∞∞5e50/15

Δ fopt
f17, 5-D		 1e1
5.0		 1e0
215		 1e-1
899		 1e-2
2861		 1e-3
3669		 1e-5
6351		 1e-7
7934		 #succ
15/15
Adaptive-Two-Mode Bodner 21 (37)45 (76)338 (561)424 (452)1810 (1977)∞∞1e60/15
BFGS-scipy-2019 Varelas 152 (240)923 (1452)∞∞∞∞∞5e50/15
CG-scipy-2019 Varelas 243 (279)2131 (2688)∞∞∞∞∞5e50/15
COBYLA-scipy-2019 Varelas 1202 (2021)2326 (2283)8105 (1e4)∞∞∞∞5e50/15
DE-scipy-2019 Varelas 4.5 (5)4.0 (1)92 (134)738 (711)1910 (1227)∞∞5e50/15
GNN-CMA-ES Faury 4.1 (4)1.8 (0.7)1.2 (2)1.0 (1)1.1 (1)1.1 (0.6)1.1 (0.5)15/15
IPOP-CMA-ES-2019 Faury 5.0 (6)1.0 (0.6)0.89 (2)0.64 (0.6)0.56 (0.5)0.92 (0.5)1.1 (0.5)15/15
L-BFGS-B-scipy-2019 Varelas 49 (83)410 (292)∞∞∞∞∞5e50/15
Nelder-Mead-scipy-2019 Varelas 140 (324)7243 (9313)∞∞∞∞∞5e50/15
Powell-scipy-2019 Varelas 163 (238)538 (871)∞∞∞∞∞5e50/15
RS-0p5-initIn0 Brockhoff 2.5e5 (5e5)∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff 2.5e5 (5e5)∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 72 (158)3.4e5 (4e5)∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 79 (109)2.4e4 (3e4)∞∞∞∞∞5e60/15
RS-10 Brockhoff 101 (79)4.7e4 (6e4)∞∞∞∞∞5e60/15
RS-1 Brockhoff 30 (74)3.4e5 (3e5)∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 2.9 (4)9.3e4 (9e4)∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 2580 (3920)∞∞∞∞∞∞5e60/15
RS-20 Brockhoff 2824 (3734)∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 2.9 (3)9.3e4 (9e4)8.1e4 (7e4)∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 2.8 (4)5436 (1e4)∞∞∞∞∞5e60/15
RS-3 Brockhoff 3.7 (5)4585 (1e4)∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 1.4 (2)362 (289)∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 4.0 (5)802 (740)∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 3.7 (4)1805 (1743)∞∞∞∞∞5e60/15
RS-6 Brockhoff 5.4 (6)3091 (3942)∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 35 (47)1530 (3491)∞∞∞∞∞5e50/15
TNC-scipy-2019 Varelas 472 (784)7861 (7288)∞∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 180 (134)7714 (9884)∞∞∞∞∞5e50/15

Δ fopt
f18, 5-D		 1e1
103		 1e0
378		 1e-1
3968		 1e-2
8451		 1e-3
9280		 1e-5
10905		 1e-7
12469		 #succ
15/15
Adaptive-Two-Mode Bodner 10 (14)128 (363)429 (399)1659 (2841)∞∞∞1e60/15
BFGS-scipy-2019 Varelas 378 (342)1.9e4 (2e4)∞∞∞∞∞5e50/15
CG-scipy-2019 Varelas 682 (801)∞∞∞∞∞∞5e50/15
COBYLA-scipy-2019 Varelas 375 (638)4341 (5396)∞∞∞∞∞5e50/15
DE-scipy-2019 Varelas 2.7 (2)5.5 (3)159 (315)387 (650)756 (849)∞∞5e50/15
GNN-CMA-ES Faury 1.3 (0.9)3.3 (4)0.84 (0.8)0.69 (0.3)0.75 (0.3)0.84 (0.6)0.97 (0.5)15/15
IPOP-CMA-ES-2019 Faury 0.91 (0.5)1.4 (0.5)0.56 (0.9)0.43 (0.5)↑10.45 (0.4)↑10.68 (0.3)↑10.83 (0.4)15/15
L-BFGS-B-scipy-2019 Varelas 114 (111)∞∞∞∞∞∞5e50/15
Nelder-Mead-scipy-2019 Varelas 218 (188)2.0e4 (2e4)∞∞∞∞∞5e50/15
Powell-scipy-2019 Varelas 199 (218)1590 (1679)∞∞∞∞∞5e50/15
RS-0p5-initIn0 Brockhoff 3.2e5 (4e5)∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff 3.2e5 (3e5)∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 1.9e5 (2e5)∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 622 (895)∞∞∞∞∞∞5e60/15
RS-10 Brockhoff 872 (1520)∞∞∞∞∞∞5e60/15
RS-1 Brockhoff 1.9e5 (2e5)∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 1.2e4 (2e4)1.9e5 (3e5)∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 2.2e4 (4e4)∞∞∞∞∞∞5e60/15
RS-20 Brockhoff 1.3e4 (1e4)∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 1.4e4 (2e4)9.7e4 (1e5)∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 33 (31)5.7e4 (5e4)∞∞∞∞∞5e60/15
RS-3 Brockhoff 23 (44)5.8e4 (6e4)∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 10 (12)1.7e4 (1e4)∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 19 (18)6.5e4 (9e4)∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 43 (37)1.9e5 (2e5)∞∞∞∞∞5e60/15
RS-6 Brockhoff 45 (39)∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 170 (150)3.7e4 (4e4)∞∞∞∞∞5e50/15
TNC-scipy-2019 Varelas 1462 (1803)2.0e4 (3e4)∞∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 476 (407)∞∞∞∞∞∞5e50/15

Δ fopt
f19, 5-D		 1e1
1		 1e0
1		 1e-1
242		 1e-2
1.0e5		 1e-3
1.2e5		 1e-5
1.2e5		 1e-7
1.2e5		 #succ
15/15
Adaptive-Two-Mode Bodner 1 (0)1 (0)3.5 (3)★3∞∞∞∞1e60/15
BFGS-scipy-2019 Varelas 471 (640)1.8e4 (2e4)1888 (1963)67 (79)∞∞∞5e50/15
CG-scipy-2019 Varelas 1195 (1555)1.7e4 (2e4)3034 (4357)∞∞∞∞5e50/15
COBYLA-scipy-2019 Varelas 29 (34)1477 (1286)594 (870)∞∞∞∞5e50/15
DE-scipy-2019 Varelas 29 (18)3531 (3650)358 (376)21 (17)61 (64)61 (101)60 (106)1/15
GNN-CMA-ES Faury 1 (0)1 (0)204 (137)2.3 (2)2.0 (2)2.0 (1)2.0 (1)3/15
IPOP-CMA-ES-2019 Faury 1 (0)1 (0)109 (99)1.6 (2)1.4 (2)1.4 (2)1.8 (2)3/15
L-BFGS-B-scipy-2019 Varelas 692 (829)1.3e4 (1e4)1418 (1527)67 (77)∞∞∞5e50/15
Nelder-Mead-scipy-2019 Varelas 334 (404)7596 (9180)1953 (1713)∞∞∞∞5e50/15
Powell-scipy-2019 Varelas 146 (352)8.3e4 (2e5)1.4e4 (2e4)∞∞∞∞5e50/15
RS-0p5-initIn0 Brockhoff 1 (0)1 (0)212 (207)∞∞∞∞5e60/15
RS-0p5 Brockhoff 2.0 (2)324 (284)209 (250)703 (739)∞∞∞5e60/15
RS-1-initIn0 Brockhoff 1 (0)1 (0)1218 (1531)706 (656)∞∞∞5e60/15
RS-10-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞5e60/15
RS-10 Brockhoff 609 (648)3.4e6 (3e6)∞∞∞∞∞5e60/15
RS-1 Brockhoff 1.7 (1)571 (676)1473 (1745)∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 1 (0)1 (0)3.3e4 (4e4)∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞5e60/15
RS-20 Brockhoff 2.2e4 (3e4)∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 4.1 (3)1286 (1019)2.5e4 (2e4)679 (441)∞∞∞5e60/15
RS-3-initIn0 Brockhoff 1 (0)1 (0)1.5e5 (1e5)∞∞∞∞5e60/15
RS-3 Brockhoff 8.0 (6)7785 (9386)2.9e5 (3e5)∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞5e60/15
RS-6 Brockhoff 77 (75)5.2e5 (7e5)∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 5.1e6 (1e7)5.7e7 (8e7)∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas 712 (1022)7418 (9720)2107 (2358)∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 958 (1184)1.8e4 (2e4)5222 (4748)∞∞∞∞5e50/15

Δ fopt
f20, 5-D		 1e1
16		 1e0
851		 1e-1
38111		 1e-2
51362		 1e-3
54470		 1e-5
54861		 1e-7
55313		 #succ
14/15
Adaptive-Two-Mode Bodner 12 (8)21 (24)111 (131)82 (80)78 (89)77 (108)77 (74)3/15
BFGS-scipy-2019 Varelas 7.7 (4)6.3 (9)4.2 (4)3.1 (3)2.9 (3)2.9 (3)2.9 (3)15/15
CG-scipy-2019 Varelas 2.0 (0.9)17 (17)192 (171)142 (153)134 (207)133 (176)132 (170)1/15
COBYLA-scipy-2019 Varelas 0.93 (0.3)4.7 (5)95 (82)70 (51)66 (68)66 (79)∞5e50/15
DE-scipy-2019 Varelas 12 (7)3.2 (2)1.4 (2)1.0 (1)0.95 (1)0.95 (1)1.0 (1)15/15
GNN-CMA-ES Faury 3.9 (2)5.1 (6)1.7 (1)1.3 (1)1.2 (1)1.4 (0.9)1.4 (1)8/15
IPOP-CMA-ES-2019 Faury 3.4 (3)6.2 (7)3.1 (3)2.3 (3)2.2 (2)2.2 (2)2.2 (4)5/15
L-BFGS-B-scipy-2019 Varelas 1.5 (0.6)2.4 (3)9.3 (11)6.9 (7)6.5 (6)6.4 (6)6.4 (6)12/15
Nelder-Mead-scipy-2019 Varelas 7.8 (8)3.3 (4)7.4 (9)5.5 (6)5.2 (7)5.2 (5)10 (12)0/15
Powell-scipy-2019 Varelas 10 (5)3.3 (3)58 (61)43 (45)41 (55)40 (49)40 (49)3/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 11 (15)∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 1078 (1193)∞∞∞∞∞∞5e60/15
RS-10 Brockhoff 833 (1418)8.6e4 (1e5)∞∞∞∞∞5e60/15
RS-1 Brockhoff 21 (19)∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 1.5 (2)∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 3.8e4 (4e4)∞∞∞∞∞∞5e60/15
RS-20 Brockhoff 2.6e4 (3e4)∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 1.6 (1)∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 1.4 (2)818 (799)∞∞∞∞∞5e60/15
RS-3 Brockhoff 2.5 (2)1048 (964)∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 9.4 (13)3727 (3779)∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 25 (37)1.4e4 (1e4)∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 50 (44)1.8e4 (2e4)∞∞∞∞∞5e60/15
RS-6 Brockhoff 79 (62)4.0e4 (3e4)∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 1.7 (1)2.6 (3)9.0 (10)6.7 (13)6.3 (7)6.3 (7)6.2 (9)11/15
TNC-scipy-2019 Varelas 4.4 (3)28 (31)59 (42)44 (41)41 (71)41 (38)40 (57)3/15
adapt-Nelder-Mead-scipy-2019 Varelas 8.2 (5)2.1 (3)5.0 (4)3.7 (3)3.5 (3)3.4 (3)4.2 (3)0/15

Δ fopt
f21, 5-D		 1e1
41		 1e0
1157		 1e-1
1674		 1e-2
1692		 1e-3
1705		 1e-5
1729		 1e-7
1757		 #succ
14/15
Adaptive-Two-Mode Bodner 24 (32)840 (1299)749 (897)741 (1136)735 (883)726 (821)715 (1094)7/15
BFGS-scipy-2019 Varelas 1.8 (3)1.0 (1)1.8 (2)1.8 (2)1.8 (2)1.8 (2)1.8 (2)15/15
CG-scipy-2019 Varelas 3.0 (4)3.2 (4)4.8 (7)4.8 (7)4.8 (7)4.8 (7)4.9 (7)14/15
COBYLA-scipy-2019 Varelas 7.2 (11)6.1 (6)14 (22)14 (22)13 (22)13 (21)13 (21)15/15
DE-scipy-2019 Varelas 2.9 (2)1.7 (2)1.7 (1)1.9 (1)2.0 (1)2.1 (1)10 (10)14/15
GNN-CMA-ES Faury 2.3 (1)5.4 (5)6.6 (5)6.7 (6)6.8 (6)6.8 (6)6.9 (6)14/15
IPOP-CMA-ES-2019 Faury 16 (18)4.1 (7)18 (33)18 (31)18 (30)18 (30)18 (24)10/15
L-BFGS-B-scipy-2019 Varelas 4.5 (7)1.1 (0.8)1.7 (1)1.6 (1)1.6 (1)1.6 (1)1.6 (1)15/15
Nelder-Mead-scipy-2019 Varelas 3.5 (6)2.9 (5)6.5 (11)6.5 (11)6.4 (11)6.4 (11)6.3 (11)15/15
Powell-scipy-2019 Varelas 5.1 (5)14 (17)17 (38)17 (38)17 (37)17 (37)17 (36)15/15
RS-0p5-initIn0 Brockhoff 4.9e5 (8e5)6.1e4 (7e4)∞∞∞∞∞5e60/15
RS-0p5 Brockhoff 4.9e5 (5e5)6.1e4 (4e4)∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 1.4e5 (2e5)6.1e4 (6e4)4.2e4 (5e4)4.3e4 (5e4)∞∞∞5e60/15
RS-10-initIn0 Brockhoff 76 (100)518 (895)1.4e4 (1e4)∞∞∞∞5e60/15
RS-10 Brockhoff 119 (81)482 (500)7245 (8779)∞∞∞∞5e60/15
RS-1 Brockhoff 1.4e5 (2e5)6.1e4 (6e4)4.2e4 (5e4)∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 4.9 (4)6499 (5425)1.9e4 (2e4)1.9e4 (3e4)4.1e4 (4e4)∞∞5e60/15
RS-20-initIn0 Brockhoff 2468 (3760)1.2e4 (2e4)∞∞∞∞∞5e60/15
RS-20 Brockhoff 3880 (4108)1.1e4 (1e4)4.3e4 (6e4)∞∞∞∞5e60/15
RS-2 Brockhoff 5.1 (10)6538 (1e4)1.9e4 (3e4)1.9e4 (2e4)2.0e4 (2e4)∞∞5e60/15
RS-3-initIn0 Brockhoff 2.7 (2)715 (2162)1559 (1546)3220 (3676)4.4e4 (3e4)∞∞5e60/15
RS-3 Brockhoff 2.0 (3)733 (2164)1538 (2990)3412 (5386)1.3e4 (2e4)∞∞5e60/15
RS-4-initIn0 Brockhoff 1.8 (2)7.7 (10)97 (144)889 (1305)1.3e4 (2e4)∞∞5e60/15
RS-5-initIn0 Brockhoff 3.3 (3)14 (19)210 (200)4066 (2743)4.3e4 (3e4)∞∞5e60/15
RS-6-initIn0 Brockhoff 14 (18)31 (25)405 (493)4.3e4 (5e4)∞∞∞5e60/15
RS-6 Brockhoff 11 (9)28 (25)676 (1194)9561 (8296)∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 2.0 (2)1.1 (1.0)1.8 (2)1.8 (2)1.8 (2)1.8 (2)1.8 (2)15/15
TNC-scipy-2019 Varelas 37 (16)18 (25)47 (92)46 (91)46 (90)71 (86)122 (143)5/15
adapt-Nelder-Mead-scipy-2019 Varelas 10 (12)5.1 (7)5.9 (7)5.9 (7)5.8 (7)5.8 (7)5.7 (6)15/15

Δ fopt
f22, 5-D		 1e1
71		 1e0
386		 1e-1
938		 1e-2
980		 1e-3
1008		 1e-5
1040		 1e-7
1068		 #succ
14/15
Adaptive-Two-Mode Bodner 68 (153)691 (1297)557 (1017)535 (530)521 (888)508 (493)499 (840)11/15
BFGS-scipy-2019 Varelas 2.9 (4)2.9 (3)2.6 (4)2.5 (4)2.5 (4)2.5 (3)2.9 (4)15/15
CG-scipy-2019 Varelas 4.9 (9)7.3 (10)11 (17)11 (16)11 (16)11 (15)32 (29)6/15
COBYLA-scipy-2019 Varelas 10 (27)12 (13)9.4 (12)9.4 (12)10 (12)11 (12)12 (12)10/15
DE-scipy-2019 Varelas 3.2 (3)5.5 (5)4.0 (4)4.2 (4)4.4 (4)4.5 (4)25 (30)13/15
GNN-CMA-ES Faury 10 (10)15 (13)36 (41)40 (46)39 (40)39 (40)38 (83)10/15
IPOP-CMA-ES-2019 Faury 4.6 (9)14 (5)43 (57)41 (52)47 (52)46 (48)45 (27)8/15
L-BFGS-B-scipy-2019 Varelas 3.0 (5)2.9 (5)2.5 (2)2.4 (2)2.4 (2)2.4 (2)2.7 (3)15/15
Nelder-Mead-scipy-2019 Varelas 5.9 (10)12 (10)10 (14)9.3 (13)9.0 (13)8.8 (12)8.6 (12)15/15
Powell-scipy-2019 Varelas 11 (19)12 (13)5.9 (6)5.8 (6)5.8 (6)5.6 (5)5.5 (5)15/15
RS-0p5-initIn0 Brockhoff 4.6e5 (7e5)1.8e5 (2e5)7.5e4 (7e4)7.1e4 (7e4)∞∞∞5e60/15
RS-0p5 Brockhoff 4.6e5 (6e5)1.8e5 (1e5)7.5e4 (9e4)7.1e4 (9e4)∞∞∞5e60/15
RS-1-initIn0 Brockhoff 1.9e5 (2e5)8.4e4 (1e5)7.5e4 (8e4)7.1e4 (1e5)7.0e4 (1e5)∞∞5e60/15
RS-10-initIn0 Brockhoff 73 (68)1478 (1833)1.3e4 (2e4)7.3e4 (8e4)∞∞∞5e60/15
RS-10 Brockhoff 93 (152)1280 (1448)1.6e4 (2e4)7.2e4 (7e4)∞∞∞5e60/15
RS-1 Brockhoff 1.9e5 (2e5)8.4e4 (1e5)7.5e4 (9e4)7.1e4 (6e4)7.0e4 (6e4)∞∞5e60/15
RS-2-initIn0 Brockhoff 5188 (871)1.6e4 (2e4)1.5e4 (2e4)3.3e4 (3e4)7.0e4 (8e4)∞∞5e60/15
RS-20-initIn0 Brockhoff 5083 (5063)5.7e4 (6e4)∞∞∞∞∞5e60/15
RS-20 Brockhoff 4744 (3478)6.2e4 (8e4)∞∞∞∞∞5e60/15
RS-2 Brockhoff 5145 (308)1.9e4 (3e4)1.5e4 (2e4)3.5e4 (2e4)7.0e4 (1e5)∞∞5e60/15
RS-3-initIn0 Brockhoff 6.6 (13)59 (80)2117 (3126)4195 (6057)8963 (8118)∞∞5e60/15
RS-3 Brockhoff 2.7 (5)89 (95)2040 (6739)5113 (5536)1.7e4 (2e4)∞∞5e60/15
RS-4-initIn0 Brockhoff 2.7 (4)23 (24)119 (143)4103 (4262)3.6e4 (3e4)∞∞5e60/15
RS-5-initIn0 Brockhoff 5.8 (4)40 (49)323 (408)4454 (4090)3.5e4 (5e4)∞∞5e60/15
RS-6-initIn0 Brockhoff 12 (17)73 (106)742 (1143)2.3e4 (2e4)7.2e4 (9e4)∞∞5e60/15
RS-6 Brockhoff 13 (13)106 (127)946 (1043)2.2e4 (4e4)7.1e4 (8e4)∞∞5e60/15
SLSQP-scipy-2019 Varelas 2.5 (1)2.4 (3)2.6 (3)2.5 (3)2.5 (3)2.5 (3)2.8 (3)15/15
TNC-scipy-2019 Varelas 52 (65)41 (47)22 (20)22 (20)27 (26)149 (198)2260 (2110)0/15
adapt-Nelder-Mead-scipy-2019 Varelas 8.6 (7)9.5 (11)11 (12)10 (12)10 (11)10 (11)9.4 (11)15/15

Δ fopt
f23, 5-D		 1e1
3.0		 1e0
518		 1e-1
14249		 1e-2
27890		 1e-3
31654		 1e-5
33030		 1e-7
34256		 #succ
15/15
Adaptive-Two-Mode Bodner 5.3 (8)11 (22)117 (91)512 (413)457 (577)∞∞1e60/15
BFGS-scipy-2019 Varelas 101 (236)113 (138)∞∞∞∞∞5e50/15
CG-scipy-2019 Varelas 39 (8)100 (155)∞∞∞∞∞5e50/15
COBYLA-scipy-2019 Varelas 3.0 (4)1.0 (0.6)21 (24)∞∞∞∞5e50/15
DE-scipy-2019 Varelas 1.8 (2)27 (32)61 (69)∞∞∞∞5e50/15
GNN-CMA-ES Faury 4.4 (5)6.9 (6)1.8 (2)1.00 (1)0.91 (1.0)1.1 (1.0)1.0 (0.9)12/15
IPOP-CMA-ES-2019 Faury 3.3 (5)11 (10)3.0 (3)1.9 (3)1.7 (2)1.6 (2)1.8 (2)8/15
L-BFGS-B-scipy-2019 Varelas 85 (129)31 (37)254 (171)∞∞∞∞5e50/15
Nelder-Mead-scipy-2019 Varelas 4.6 (3)1.5 (2)1.5 (2)10 (9)40 (33)∞∞5e50/15
Powell-scipy-2019 Varelas 2.6 (2)12 (15)158 (99)∞∞∞∞5e50/15
RS-0p5-initIn0 Brockhoff 2.8 (2)41 (41)∞∞∞∞∞5e60/15
RS-0p5 Brockhoff 3.3 (3)57 (65)∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 2.4 (2)48 (59)∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff 10 (15)1251 (1662)∞∞∞∞∞5e60/15
RS-10 Brockhoff 22 (19)1529 (1194)∞∞∞∞∞5e60/15
RS-1 Brockhoff 2.0 (2)60 (58)∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 2.0 (2)49 (46)∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff 497 (522)1.4e5 (2e5)∞∞∞∞∞5e60/15
RS-20 Brockhoff 471 (430)3.1e4 (5e4)∞∞∞∞∞5e60/15
RS-2 Brockhoff 2.0 (3)30 (43)∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 1.6 (2)37 (34)∞∞∞∞∞5e60/15
RS-3 Brockhoff 2.7 (3)36 (32)∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 1.9 (2)33 (23)∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 2.2 (3)34 (39)∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 1.5 (2)74 (100)∞∞∞∞∞5e60/15
RS-6 Brockhoff 2.4 (2)103 (137)∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 51 (109)232 (329)565 (491)∞∞∞∞5e50/15
TNC-scipy-2019 Varelas 31 (31)103 (102)∞∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.9 (5)0.81 (0.8)0.84 (1)2.5 (3)8.8 (14)∞∞5e50/15

Δ fopt
f24, 5-D		 1e1
1622		 1e0
2.2e5		 1e-1
6.4e6		 1e-2
9.6e6		 1e-3
9.6e6		 1e-5
1.3e7		 1e-7
1.3e7		 #succ
3/15
Adaptive-Two-Mode Bodner 34 (37)66 (79)∞∞∞∞∞1e60/15
BFGS-scipy-2019 Varelas 60 (54)∞∞∞∞∞∞5e50/15
CG-scipy-2019 Varelas 206 (211)∞∞∞∞∞∞5e50/15
COBYLA-scipy-2019 Varelas 21 (19)∞∞∞∞∞∞5e50/15
DE-scipy-2019 Varelas 10 (8)16 (12)∞∞∞∞∞5e50/15
GNN-CMA-ES Faury 2.4 (2)1.0 (0.8)∞∞∞∞∞5e40/15
IPOP-CMA-ES-2019 Faury 1.6 (1)1.6 (3)∞∞∞∞∞5e40/15
L-BFGS-B-scipy-2019 Varelas 27 (31)∞∞∞∞∞∞5e50/15
Nelder-Mead-scipy-2019 Varelas 23 (32)∞∞∞∞∞∞5e50/15
Powell-scipy-2019 Varelas 57 (36)∞∞∞∞∞∞5e50/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-1-initIn0 Brockhoff 660 (458)∞∞∞∞∞∞5e60/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-10 Brockhoff 4.4e4 (4e4)∞∞∞∞∞∞5e60/15
RS-1 Brockhoff 494 (425)∞∞∞∞∞∞5e60/15
RS-2-initIn0 Brockhoff 63 (70)∞∞∞∞∞∞5e60/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-20 Brockhoff ∞∞∞∞∞∞∞5e60/15
RS-2 Brockhoff 37 (44)∞∞∞∞∞∞5e60/15
RS-3-initIn0 Brockhoff 250 (246)∞∞∞∞∞∞5e60/15
RS-3 Brockhoff 163 (154)∞∞∞∞∞∞5e60/15
RS-4-initIn0 Brockhoff 872 (1097)∞∞∞∞∞∞5e60/15
RS-5-initIn0 Brockhoff 2561 (2993)∞∞∞∞∞∞5e60/15
RS-6-initIn0 Brockhoff 4924 (6012)∞∞∞∞∞∞5e60/15
RS-6 Brockhoff 7276 (8145)∞∞∞∞∞∞5e60/15
SLSQP-scipy-2019 Varelas 19 (20)∞∞∞∞∞∞5e50/15
TNC-scipy-2019 Varelas 284 (251)∞∞∞∞∞∞5e50/15
adapt-Nelder-Mead-scipy-2019 Varelas 81 (73)∞∞∞∞∞∞5e50/15

Previous dimension | Dimension = 10 | Next dimension

Δ fopt
f1, 10-D		 1e1
22		 1e0
23		 1e-1
23		 1e-2
23		 1e-3
23		 1e-5
23		 1e-7
23		 #succ
15/15
Adaptive-Two-Mode Bodner 45 (32)95 (40)137 (47)188 (74)236 (60)341 (113)546 (253)15/15
BFGS-scipy-2019 Varelas 1.7 (0)1.7 (0.3)1.9 (0.3)1.9 (0.3)1.9 (0.3)1.9 (0.3)1.9 (0.3)15/15
CG-scipy-2019 Varelas 1.7 (0.3)1.7 (0.3)2.1 (2)2.1 (2)2.3 (2)2.3 (2)2.3 (2)15/15
COBYLA-scipy-2019 Varelas 1.1 (0.3)1.4 (0.3)2.6 (0.5)3.6 (0.7)4.7 (0.7)6.6 (0.8)8.7 (0.8)15/15
DE-scipy-2019 Varelas 30 (17)96 (30)118 (29)122 (42)122 (42)122 (42)123 (42)15/15
GNN-CMA-ES Faury 7.5 (1)15 (3)24 (5)32 (5)38 (5)51 (4)64 (6)15/15
IPOP-CMA-ES-2019 Faury 5.3 (2)12 (3)19 (3)25 (3)32 (3)45 (4)59 (4)15/15
L-BFGS-B-scipy-2019 Varelas 1.4 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)15/15
Nelder-Mead-scipy-2019 Varelas 36 (28)69 (37)93 (37)100 (37)122 (68)129 (65)137 (63)15/15
Powell-scipy-2019 Varelas 3.6 (0.7)3.9 (0.3)3.9 (0.1)4.0 (0.1)4.0 (0.1)5.3 (4)5.3 (4)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 6.4e6 (7e6)∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 1.5e6 (2e6)∞∞∞∞∞∞1e70/15
RS-10 Brockhoff 3.1e6 (4e6)∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 6.4e6 (9e6)∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 7.0e5 (7e5)∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 7.3e5 (1e6)∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 4290 (6090)∞∞∞∞∞∞1e70/15
RS-3 Brockhoff 6801 (2e4)∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 1117 (1448)∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 2239 (2717)∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 1.1e4 (9678)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 1.0e4 (1e4)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 0.68 (0)★4↑00.65 (0)★4↑00.65 (0)★4↑00.65 (0)★4↑00.65 (0)★4↑00.65 (0)★4↑00.65 (0)★4↑015/15
TNC-scipy-2019 Varelas 13 (14)34 (20)47 (27)57 (26)74 (49)208 (203)762 (730)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 26 (17)40 (17)47 (14)51 (14)55 (14)62 (14)69 (14)15/15

Δ fopt
f2, 10-D		 1e1
187		 1e0
190		 1e-1
191		 1e-2
191		 1e-3
193		 1e-5
194		 1e-7
195		 #succ
15/15
Adaptive-Two-Mode Bodner 64 (29)81 (31)115 (61)173 (121)276 (147)848 (715)1836 (1382)15/15
BFGS-scipy-2019 Varelas 2.5 (0.8)2.7 (0.8)3.0 (1.0)3.2 (1)3.3 (1)3.6 (1)3.9 (1)15/15
CG-scipy-2019 Varelas 112 (52)235 (129)1345 (1095)5394 (6407)∞∞∞1e60/15
COBYLA-scipy-2019 Varelas 1.7e4 (2e4)∞∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 32 (3)41 (4)51 (6)63 (25)102 (54)751 (1384)∞1e60/15
GNN-CMA-ES Faury 62 (31)92 (33)110 (33)120 (33)124 (33)127 (35)129 (35)15/15
IPOP-CMA-ES-2019 Faury 13 (3)15 (2)16 (2)17 (2)18 (2)19 (2)21 (2)15/15
L-BFGS-B-scipy-2019 Varelas 6.6 (2)8.5 (2)10 (1)10 (2)11 (2)12 (2)12 (2)15/15
Nelder-Mead-scipy-2019 Varelas 2931 (2634)2.3e4 (3e4)7.6e4 (1e5)∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 1.1 (0.3)1.2 (0.1)★1.2 (0.0)★41.2 (0.0)★41.3 (0.4)★21.8 (0.4)1.9 (0.1)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 1.3 (0.2)1.4 (0.2)1.6 (0.2)1.7 (0.2)1.8 (0.3)2.0 (0.4)2.2 (0.4)15/15
TNC-scipy-2019 Varelas 16 (8)20 (9)44 (13)48 (19)52 (17)93 (86)2125 (1988)0/15
adapt-Nelder-Mead-scipy-2019 Varelas 19 (9)22 (9)23 (8)23 (8)24 (8)24 (8)25 (8)15/15

Δ fopt
f3, 10-D		 1e1
1739		 1e0
3600		 1e-1
3609		 1e-2
3636		 1e-3
3642		 1e-5
3646		 1e-7
3651		 #succ
15/15
Adaptive-Two-Mode Bodner 20 (22)38 (11)52 (22)52 (22)52 (23)53 (23)55 (21)15/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 24 (8)65 (86)154 (168)152 (153)152 (188)152 (213)198 (194)6/15
GNN-CMA-ES Faury 3.7 (3)89 (111)412 (389)410 (448)409 (489)410 (447)410 (529)1/15
IPOP-CMA-ES-2019 Faury 4.1 (2)90 (89)∞∞∞∞∞1e50/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 3.6 (3)725 (925)∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15

Δ fopt
f4, 10-D		 1e1
2234		 1e0
3626		 1e-1
3660		 1e-2
3695		 1e-3
3707		 1e-5
3744		 1e-7
28767		 #succ
12/15
Adaptive-Two-Mode Bodner 24 (12)60 (33)89 (50)88 (49)88 (49)89 (49)12 (6)15/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas 3272 (4249)∞∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 14 (3)154 (199)510 (614)506 (588)504 (517)499 (600)249 (260)1/15
GNN-CMA-ES Faury 11 (8)∞∞∞∞∞∞1e50/15
IPOP-CMA-ES-2019 Faury 5.8 (4)∞∞∞∞∞∞1e50/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 2.3 (3)474 (710)∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15

Δ fopt
f5, 10-D		 1e1
20		 1e0
20		 1e-1
20		 1e-2
20		 1e-3
20		 1e-5
20		 1e-7
20		 #succ
15/15
Adaptive-Two-Mode Bodner 37 (21)41 (23)41 (23)41 (23)41 (23)41 (23)41 (23)15/15
BFGS-scipy-2019 Varelas 2.6 (0.6)3.5 (0.6)3.6 (0.6)3.7 (0.6)3.7 (0.6)3.7 (0.6)3.7 (0.6)15/15
CG-scipy-2019 Varelas 3.0 (0.6)3.8 (0.6)4.0 (0.3)4.0 (0.3)4.0 (0.3)4.0 (0.3)4.0 (0.3)15/15
COBYLA-scipy-2019 Varelas 2.9 (0.6)4.0 (1)4.2 (1)4.2 (1)4.2 (1)4.2 (1)4.2 (1)15/15
DE-scipy-2019 Varelas 247 (64)685 (384)879 (727)881 (741)881 (741)881 (741)881 (741)15/15
GNN-CMA-ES Faury 6.0 (2)7.8 (2)7.9 (2)7.9 (2)7.9 (2)7.9 (2)7.9 (2)15/15
IPOP-CMA-ES-2019 Faury 5.7 (1)6.8 (2)6.9 (2)6.9 (2)6.9 (2)6.9 (2)6.9 (2)15/15
L-BFGS-B-scipy-2019 Varelas 2.3 (0)3.0 (0.3)3.0 (0.3)3.0 (0.3)3.0 (0.3)3.0 (0.3)3.0 (0.3)15/15
Nelder-Mead-scipy-2019 Varelas 79 (88)87 (85)88 (85)88 (85)88 (85)88 (85)88 (85)15/15
Powell-scipy-2019 Varelas 6.9 (0.1)6.9 (0.1)6.9 (0.1)6.9 (0.1)6.9 (0.1)6.9 (0.1)6.9 (0.1)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 1241 (2221)3.3e4 (3e4)6.5e4 (6e4)6.6e4 (6e4)6.6e4 (6e4)6.6e4 (6e4)6.6e4 (6e4)15/15
RS-10 Brockhoff 1765 (1831)2.8e4 (2e4)4.7e4 (5e4)5.3e4 (6e4)5.3e4 (6e4)5.3e4 (6e4)5.3e4 (6e4)15/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff 160 (162)558 (499)609 (669)609 (669)609 (669)609 (669)609 (669)15/15
RS-20 Brockhoff 171 (160)569 (456)657 (739)657 (739)657 (739)657 (739)657 (739)15/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 5.6e5 (5e5)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 4.3e5 (5e5)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 1.5 (0.3)★32.4 (0.6)★2.4 (0.6)★2.5 (0.6)★2.5 (0.6)★2.5 (0.6)★2.5 (0.6)★15/15
TNC-scipy-2019 Varelas 8.5 (3)10 (2)10 (2)10 (2)10 (2)10 (2)10 (2)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 49 (55)53 (54)54 (54)54 (53)54 (53)54 (53)54 (53)15/15

Δ fopt
f6, 10-D		 1e1
412		 1e0
623		 1e-1
826		 1e-2
1039		 1e-3
1292		 1e-5
1841		 1e-7
2370		 #succ
15/15
Adaptive-Two-Mode Bodner 12 (5)14 (6)16 (7)20 (8)22 (11)31 (13)43 (15)15/15
BFGS-scipy-2019 Varelas 4.0 (2)4.3 (2)4.2 (1)4.6 (1)4.8 (1)4.9 (1)14 (9)14/15
CG-scipy-2019 Varelas 3.3 (2)4.4 (2)4.8 (2)5.3 (1)5.5 (2)5.5 (2)8.0 (6)12/15
COBYLA-scipy-2019 Varelas 39 (45)1958 (2431)4100 (6074)∞∞∞∞1e60/15
DE-scipy-2019 Varelas 15 (5)26 (6)33 (10)32 (12)32 (9)522 (833)6047 (4338)0/15
GNN-CMA-ES Faury 4.1 (2)4.4 (3)4.2 (2)3.9 (2)3.5 (2)2.9 (1)2.6 (0.9)15/15
IPOP-CMA-ES-2019 Faury 1.7 (0.5)1.7 (0.4)1.8 (0.3)★21.8 (0.3)★21.7 (0.3)★31.6 (0.2)★41.5 (0.2)★415/15
L-BFGS-B-scipy-2019 Varelas 2.0 (1)2.7 (1.0)2.8 (0.7)2.8 (0.7)2.9 (0.5)3.0 (0.5)3.6 (2)15/15
Nelder-Mead-scipy-2019 Varelas 1036 (1020)1.1e4 (2e4)1.8e4 (2e4)∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 25 (38)58 (75)56 (64)59 (59)58 (51)122 (102)190 (234)12/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 2.6 (1)2.7 (1)2.8 (0.9)2.8 (1.0)2.9 (1.0)2.8 (0.9)3.6 (2)15/15
TNC-scipy-2019 Varelas 18 (18)24 (39)26 (33)140 (73)605 (793)∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 45 (43)49 (34)53 (38)54 (61)72 (65)129 (149)∞1e60/15

Δ fopt
f7, 10-D		 1e1
172		 1e0
1611		 1e-1
4195		 1e-2
5099		 1e-3
5141		 1e-5
5141		 1e-7
5389		 #succ
15/15
Adaptive-Two-Mode Bodner 19 (14)119 (133)2062 (3211)1737 (1469)1723 (2135)1723 (2121)1644 (1744)3/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas 45 (88)4151 (2608)∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 16 (6)69 (46)236 (374)2760 (2157)2737 (5301)2737 (4280)2618 (2320)1/15
GNN-CMA-ES Faury 4.4 (6)1.6 (2)1.8 (1)1.6 (0.9)1.6 (0.9)1.6 (0.9)1.6 (0.9)15/15
IPOP-CMA-ES-2019 Faury 2.2 (1)0.85 (0.6)0.71 (0.6)★20.68 (0.4)★30.68 (0.4)★30.68 (0.4)★30.66 (0.4)★315/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas 8.4e4 (8e4)∞∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 388 (741)2744 (2802)∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 1.7e5 (3e5)∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 2.4e5 (4e5)∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 5.8e4 (9e4)∞∞∞∞∞∞1e70/15
RS-3 Brockhoff 5.8e4 (6e4)∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 3.5e4 (4e4)∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 6.8e4 (8e4)∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 4.3e5 (3e5)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 8.3e5 (9e5)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15

Δ fopt
f8, 10-D		 1e1
326		 1e0
921		 1e-1
1114		 1e-2
1217		 1e-3
1267		 1e-5
1315		 1e-7
1343		 #succ
15/15
Adaptive-Two-Mode Bodner 17 (17)200 (304)323 (247)612 (269)1144 (346)∞∞2e60/15
BFGS-scipy-2019 Varelas 2.6 (1)1.9 (1)1.7 (0.9)1.6 (0.8)1.5 (0.8)1.5 (0.7)1.5 (0.7)15/15
CG-scipy-2019 Varelas 1.2 (0.7)2.1 (0.9)2.4 (0.8)2.6 (0.8)2.8 (0.8)3.1 (0.9)3.5 (1.0)15/15
COBYLA-scipy-2019 Varelas 24 (18)15 (29)18 (27)5455 (8508)1.1e4 (1e4)∞∞1e60/15
DE-scipy-2019 Varelas 20 (4)15 (10)14 (12)13 (11)13 (10)12 (10)14 (10)15/15
GNN-CMA-ES Faury 2.3 (0.6)3.5 (0.6)3.7 (0.4)3.7 (0.4)3.8 (0.4)3.9 (0.4)4.1 (0.3)15/15
IPOP-CMA-ES-2019 Faury 2.0 (0.7)3.8 (0.9)3.8 (0.8)3.8 (0.7)3.9 (0.7)4.0 (0.7)4.2 (0.7)15/15
L-BFGS-B-scipy-2019 Varelas 0.89 (0.5)0.84 (0.3)0.79 (0.2)↑10.77 (0.2)↑10.76 (0.2)↑10.76 (0.2)↑10.76 (0.2)↑115/15
Nelder-Mead-scipy-2019 Varelas 17 (14)15 (14)13 (12)12 (11)12 (10)13 (11)14 (11)15/15
Powell-scipy-2019 Varelas 3.1 (3)4.0 (4)4.2 (3)4.3 (3)4.3 (3)4.4 (3)4.5 (3)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 1.3 (0.4)1.7 (1)1.5 (1)1.5 (0.9)1.4 (0.9)1.4 (0.9)1.4 (0.8)15/15
TNC-scipy-2019 Varelas 14 (7)28 (43)55 (68)67 (61)200 (324)1082 (1574)1.1e4 (1e4)0/15
adapt-Nelder-Mead-scipy-2019 Varelas 5.7 (4)4.3 (3)4.0 (3)3.8 (2)3.8 (2)3.7 (2)3.8 (2)15/15

Δ fopt
f9, 10-D		 1e1
200		 1e0
648		 1e-1
857		 1e-2
993		 1e-3
1065		 1e-5
1138		 1e-7
1185		 #succ
15/15
Adaptive-Two-Mode Bodner 11 (3)95 (96)342 (122)963 (175)4469 (2917)∞∞2e60/15
BFGS-scipy-2019 Varelas 2.8 (1.0)2.5 (2)2.0 (1)1.8 (1)1.7 (1)1.6 (1.0)1.6 (1.0)15/15
CG-scipy-2019 Varelas 1.1 (0.4)3.6 (4)3.5 (3)3.5 (3)3.6 (2)3.9 (2)4.2 (2)15/15
COBYLA-scipy-2019 Varelas 1.4 (0.7)14 (14)19 (16)1.5e4 (1e4)1.4e4 (2e4)∞∞1e60/15
DE-scipy-2019 Varelas 33 (6)26 (20)21 (20)18 (17)17 (16)16 (15)16 (14)15/15
GNN-CMA-ES Faury 5.5 (3)5.4 (2)5.1 (2)4.9 (2)4.8 (2)4.8 (2)4.9 (2)15/15
IPOP-CMA-ES-2019 Faury 3.7 (0.8)5.9 (1)5.4 (1)5.1 (0.8)5.0 (0.8)5.0 (0.7)5.0 (0.7)15/15
L-BFGS-B-scipy-2019 Varelas 0.95 (0.8)1.3 (0.8)1.1 (0.6)1.0 (0.5)1.0 (0.5)0.97 (0.5)0.95 (0.4)15/15
Nelder-Mead-scipy-2019 Varelas 18 (16)18 (14)16 (8)15 (7)14 (7)14 (6)15 (11)12/15
Powell-scipy-2019 Varelas 3.6 (2)9.0 (7)7.8 (5)7.3 (5)7.0 (4)7.0 (4)6.9 (4)15/15
RS-0p5-initIn0 Brockhoff 3.4e5 (4e5)∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 7.2e5 (1e6)∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 1.4 (0.4)1.8 (2)1.5 (1)1.4 (1.0)1.3 (0.9)1.2 (0.9)1.2 (0.8)15/15
TNC-scipy-2019 Varelas 14 (7)103 (102)331 (417)595 (693)904 (1160)6005 (5271)∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 6.1 (4)4.9 (3)4.3 (2)3.9 (2)3.8 (2)3.7 (2)3.7 (2)14/15

Δ fopt
f10, 10-D		 1e1
1835		 1e0
2172		 1e-1
2455		 1e-2
2728		 1e-3
2802		 1e-5
4543		 1e-7
4739		 #succ
15/15
Adaptive-Two-Mode Bodner 5139 (5932)∞∞∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas 0.23 (0.1)↑00.22 (0.1)↑00.21 (0.1)↑00.21 (0.1)↑00.26 (0.1)↑00.28 (0.2)↑17.0 (9)11/15
CG-scipy-2019 Varelas 11 (5)31 (26)128 (178)737 (1026)2613 (2429)∞∞1e60/15
COBYLA-scipy-2019 Varelas 8237 (9849)∞∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 45 (6)51 (8)53 (9)51 (11)64 (29)572 (575)∞1e60/15
GNN-CMA-ES Faury 3.7 (1)4.3 (2)4.5 (2)4.3 (2)4.4 (2)2.8 (1)2.7 (1)15/15
IPOP-CMA-ES-2019 Faury 1.2 (0.3)1.3 (0.2)1.2 (0.1)1.2 (0.1)1.2 (0.1)0.81 (0.1)↑00.84 (0.1)↑015/15
L-BFGS-B-scipy-2019 Varelas 0.71 (0.2)↑00.84 (0.1)↑00.84 (0.2)0.78 (0.1)↑10.79 (0.2)↑10.56 (0.1)↑111 (9)12/15
Nelder-Mead-scipy-2019 Varelas 387 (564)3151 (3405)∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 6.1 (2)5.7 (2)5.4 (0.9)5.1 (0.8)5.0 (0.8)3.3 (0.5)3.3 (0.4)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 0.17 (0.1)↑00.16 (0.1)↑00.15 (0.1)↑00.14 (0.1)★↑00.15 (0.1)★↑00.10 (0.1)★↑0256 (352)3/15
TNC-scipy-2019 Varelas 202 (216)689 (822)6616 (7621)∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 1.9 (0.8)2.0 (0.7)2.1 (0.9)2.0 (0.8)1.9 (0.8)1.2 (0.5)1.2 (0.5)2/15

Δ fopt
f11, 10-D		 1e1
266		 1e0
1041		 1e-1
2602		 1e-2
2954		 1e-3
3338		 1e-5
4092		 1e-7
4843		 #succ
15/15
Adaptive-Two-Mode Bodner 51 (21)42 (26)28 (11)39 (12)49 (13)71 (15)93 (24)15/15
BFGS-scipy-2019 Varelas 0.46 (0.2)↑10.14 (0.1)↑00.07 (0.0)↑00.07 (0.0)↑00.08 (0.0)↑00.56 (0.6)29 (35)4/15
CG-scipy-2019 Varelas 1.7 (0.7)0.80 (0.3)0.43 (0.1)↑00.46 (0.2)↑00.55 (0.2)↑05.1 (7)∞1e60/15
COBYLA-scipy-2019 Varelas 4053 (3386)∞∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 94 (34)53 (10)29 (10)28 (15)76 (76)∞∞1e60/15
GNN-CMA-ES Faury 35 (25)14 (7)6.8 (3)6.6 (2)6.1 (2)5.2 (2)4.5 (1)15/15
IPOP-CMA-ES-2019 Faury 5.9 (0.7)1.7 (0.1)0.77 (0.1)↑00.74 (0.1)↑00.71 (0.1)↑00.65 (0.0)↑00.62 (0.0)★↑015/15
L-BFGS-B-scipy-2019 Varelas 1.0 (0.2)0.44 (0.2)↑00.24 (0.1)↑00.26 (0.1)↑00.33 (0.1)↑01.1 (1)623 (623)1/15
Nelder-Mead-scipy-2019 Varelas 243 (284)1.4e4 (2e4)∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 31 (19)13 (3)6.1 (1)5.7 (1)5.3 (1.0)4.5 (0.9)3.9 (0.8)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 2.6e5 (4e5)∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 2.5e5 (1e5)∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 8.6e4 (9e4)∞∞∞∞∞∞1e70/15
RS-3 Brockhoff 5.1e4 (9e4)∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 4.1e4 (4e4)∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 1.2e5 (1e5)∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 5.5e5 (5e5)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 0.29 (0.1)↑00.10 (0.0)↑00.05 (0.0)↑00.05 (0.0)↑00.05 (0.0)↑066 (74)819 (1354)2/15
TNC-scipy-2019 Varelas 8.4 (7)6.7 (4)4.4 (2)7.3 (6)43 (75)∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 26 (10)8.6 (4)3.9 (2)3.9 (2)3.4 (2)3.0 (1)2.6 (1)15/15

Δ fopt
f12, 10-D		 1e1
515		 1e0
896		 1e-1
1240		 1e-2
1390		 1e-3
1569		 1e-5
3660		 1e-7
5154		 #succ
15/15
Adaptive-Two-Mode Bodner 985 (2916)8938 (7812)2.3e4 (3e4)∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas 3.8 (3)2.9 (2)2.5 (2)2.4 (1)2.3 (1)1.9 (2)45 (102)8/15
CG-scipy-2019 Varelas 0.46 (0.1)↑11.1 (1)2.2 (2)2.7 (2)3.3 (2)110 (145)801 (646)1/15
COBYLA-scipy-2019 Varelas 0.42 (0.2)↑00.59 (0.5)1.0 (1)7.5 (6)∞∞∞1e60/15
DE-scipy-2019 Varelas 50 (20)59 (32)49 (20)62 (33)55 (29)41 (33)2748 (3303)0/15
GNN-CMA-ES Faury 5.1 (6)5.4 (5)5.9 (4)6.4 (4)6.3 (3)3.2 (1)2.5 (1.0)15/15
IPOP-CMA-ES-2019 Faury 2.8 (2)3.8 (3)4.1 (3)4.4 (2)4.5 (2)2.4 (1)1.9 (1.0)15/15
L-BFGS-B-scipy-2019 Varelas 0.34 (0.3)↑10.58 (0.6)0.69 (0.5)0.73 (0.5)0.77 (0.4)1.7 (2)2.1 (5)15/15
Nelder-Mead-scipy-2019 Varelas 13 (9)31 (26)49 (47)137 (165)227 (285)1851 (1503)∞1e60/15
Powell-scipy-2019 Varelas 2.3 (2)4.7 (4)5.2 (5)5.3 (4)5.5 (4)3.1 (2)2.6 (1)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 2.5 (3)1.9 (2)1.6 (2)1.6 (2)1.5 (1)0.99 (0.6)3.3 (4)11/15
TNC-scipy-2019 Varelas 10 (21)15 (17)81 (56)245 (325)559 (565)2017 (2051)∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 8.7 (7)8.7 (5)8.4 (4)8.0 (3)7.4 (3)240 (291)2735 (4123)0/15

Δ fopt
f13, 10-D		 1e1
387		 1e0
596		 1e-1
797		 1e-2
1014		 1e-3
4587		 1e-5
6208		 1e-7
7779		 #succ
15/15
Adaptive-Two-Mode Bodner 2.1e4 (2e4)4.7e4 (4e4)∞∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas 0.79 (0.1)↑00.79 (0.0)↑00.73 (0.0)↑00.70 (0.0)↑058 (109)648 (967)∞1e60/15
CG-scipy-2019 Varelas 3.6 (5)8.3 (10)15 (9)64 (88)46 (30)235 (162)∞1e60/15
COBYLA-scipy-2019 Varelas 0.78 (0.7)2.0 (1)6.5 (3)2606 (1998)∞∞∞1e60/15
DE-scipy-2019 Varelas 30 (10)33 (17)42 (20)105 (98)116 (124)724 (1104)∞1e60/15
GNN-CMA-ES Faury 2.9 (2)4.5 (2)4.5 (1)4.6 (1)1.2 (0.3)1.2 (0.3)1.2 (0.3)15/15
IPOP-CMA-ES-2019 Faury 2.7 (2)3.2 (1)3.4 (1)3.5 (1)0.89 (0.2)0.93 (0.2)★0.93 (0.1)★215/15
L-BFGS-B-scipy-2019 Varelas 3.5 (5)7.0 (8)18 (27)17 (25)5.0 (6)26 (38)∞1e60/15
Nelder-Mead-scipy-2019 Varelas 14 (13)11 (8)16 (14)17 (11)5.5 (4)70 (53)∞1e60/15
Powell-scipy-2019 Varelas 57 (14)107 (115)198 (294)498 (385)188 (170)419 (519)580 (486)3/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 0.69 (0.1)↑00.67 (0.1)↑00.63 (0.1)★↑00.62 (0.0)★3↑04491 (8590)3.7e4 (3e4)∞8e60/15
TNC-scipy-2019 Varelas 10 (12)20 (18)86 (105)192 (277)128 (147)2357 (2543)∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 6.0 (4)5.9 (6)5.4 (5)5.8 (4)2.3 (2)16 (15)∞1e60/15

Δ fopt
f14, 10-D		 1e1
37		 1e0
98		 1e-1
133		 1e-2
205		 1e-3
392		 1e-5
687		 1e-7
4305		 #succ
15/15
Adaptive-Two-Mode Bodner 13 (15)24 (16)26 (13)28 (7)39 (14)1301 (351)∞2e60/15
BFGS-scipy-2019 Varelas 1.1 (0.3)0.71 (0.2)↑00.95 (0.3)1.00 (0.1)0.73 (0.1)↑00.68 (0.1)↑0∞1e60/15
CG-scipy-2019 Varelas 1.2 (0.5)1.0 (0.2)1.2 (0.3)1.5 (0.2)1.6 (0.3)6.7 (3)∞1e60/15
COBYLA-scipy-2019 Varelas 0.66 (0.3)↑10.47 (0.1)★2↑00.60 (0.1)★2↑00.87 (0.2)686 (680)∞∞1e60/15
DE-scipy-2019 Varelas 7.4 (7)23 (8)25 (6)18 (5)10 (3)21 (18)∞1e60/15
GNN-CMA-ES Faury 3.1 (2)3.8 (1)4.7 (0.8)4.5 (1.0)3.4 (0.6)3.6 (0.3)0.83 (0.1)↑015/15
IPOP-CMA-ES-2019 Faury 2.2 (2)3.1 (0.6)3.7 (0.7)3.8 (0.6)3.1 (0.5)3.2 (0.3)0.74 (0.1)↑015/15
L-BFGS-B-scipy-2019 Varelas 1.1 (0.4)0.99 (0.4)1.1 (0.3)1.1 (0.2)0.90 (0.1)↑11.1 (0.2)1690 (1664)0/15
Nelder-Mead-scipy-2019 Varelas 11 (8)36 (31)42 (33)33 (18)21 (10)14 (10)6.6 (9)15/15
Powell-scipy-2019 Varelas 3.8 (2)3.0 (0.9)3.0 (1)4.2 (2)5.2 (2)9.2 (2)2.3 (0.4)15/15
RS-0p5-initIn0 Brockhoff 3.8e6 (6e6)∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff 3.8e6 (7e6)∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 7.4e5 (1e6)∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 7850 (7180)∞∞∞∞∞∞1e70/15
RS-10 Brockhoff 9350 (9307)∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 7.4e5 (1e6)∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 1727 (339)1.5e6 (1e6)∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 362 (595)1.5e6 (2e6)∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 25 (42)4.7e5 (5e5)∞∞∞∞∞1e70/15
RS-3 Brockhoff 21 (30)6.7e5 (8e5)∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 12 (12)1.2e5 (2e5)∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 18 (19)∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 52 (52)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 80 (81)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 0.76 (0.3)0.68 (0.2)↑00.81 (0.2)↑10.80 (0.1)↑00.58 (0.1)★2↑00.53 (0.1)★3↑0∞1e60/15
TNC-scipy-2019 Varelas 7.0 (8)10 (5)13 (7)15 (10)90 (117)∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 7.8 (5)10 (4)8.4 (3)6.4 (2)4.1 (0.7)3.3 (0.6)0.86 (0.4)15/15

Δ fopt
f15, 10-D		 1e1
4774		 1e0
39246		 1e-1
73643		 1e-2
74669		 1e-3
75790		 1e-5
77814		 1e-7
79834		 #succ
12/15
Adaptive-Two-Mode Bodner 6178 (5344)∞∞∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 56 (44)∞∞∞∞∞∞1e60/15
GNN-CMA-ES Faury 1.0 (1)1.4 (0.7)1.2 (0.9)1.2 (0.9)1.2 (0.9)1.2 (0.9)1.2 (0.9)12/15
IPOP-CMA-ES-2019 Faury 1.1 (1)0.95 (0.3)1.0 (1)1.0 (1)1.0 (0.8)1.0 (0.7)1.0 (0.9)12/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15

Δ fopt
f16, 10-D		 1e1
425		 1e0
7029		 1e-1
15779		 1e-2
45669		 1e-3
51151		 1e-5
65798		 1e-7
71570		 #succ
15/15
Adaptive-Two-Mode Bodner 3.6 (3)486 (653)∞∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas 0.64 (0.6)★243 (46)∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 97 (82)89 (90)138 (137)311 (307)∞∞∞1e60/15
GNN-CMA-ES Faury 2.2 (0.8)0.99 (1)1.6 (1)0.96 (0.9)1.5 (1)1.3 (1)1.2 (1)10/15
IPOP-CMA-ES-2019 Faury 3.1 (2)0.90 (0.6)0.89 (0.9)0.60 (0.3)↑10.60 (0.3)↑10.51 (0.4)↑10.54 (0.4)↑114/15
L-BFGS-B-scipy-2019 Varelas 2569 (3589)∞∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas 96 (102)∞∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 74 (71)∞∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff 5.0e4 (1e5)∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff 6.6e4 (7e4)∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 170 (298)∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 7548 (1e4)∞∞∞∞∞∞1e70/15
RS-10 Brockhoff 5513 (4483)∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 284 (207)∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 31 (19)∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 72 (91)∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 49 (66)∞∞∞∞∞∞1e70/15
RS-3 Brockhoff 31 (52)∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 84 (123)∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 52 (49)∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 101 (157)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 83 (74)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas 7236 (1e4)∞∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 177 (220)∞∞∞∞∞∞1e60/15

Δ fopt
f17, 10-D		 1e1
26		 1e0
429		 1e-1
2203		 1e-2
6329		 1e-3
9851		 1e-5
20190		 1e-7
26503		 #succ
15/15
Adaptive-Two-Mode Bodner 4.5 (7)1872 (2585)3807 (4490)∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas 65 (86)∞∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas 1044 (1669)∞∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas 658 (1265)∞∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 5.3 (5)27 (31)977 (1310)2218 (3281)1440 (1473)∞∞1e60/15
GNN-CMA-ES Faury 2.1 (2)1.5 (0.7)1.6 (2)1.2 (0.8)1.2 (0.6)1.0 (0.4)1.1 (0.5)15/15
IPOP-CMA-ES-2019 Faury 2.1 (3)2.1 (0.4)1.0 (2)1.1 (0.8)1.0 (0.3)1.0 (0.7)1.0 (0.4)15/15
L-BFGS-B-scipy-2019 Varelas 97 (131)∞∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas 751 (1351)∞∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 590 (1056)∞∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff 1.9e5 (2e5)∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff 1.9e5 (3e5)∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 9.7e4 (2e5)∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 3707 (5462)∞∞∞∞∞∞1e70/15
RS-10 Brockhoff 2715 (1661)∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 7.3e4 (2e5)∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 40 (107)∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff 1.1e6 (1e6)∞∞∞∞∞∞1e70/15
RS-20 Brockhoff 1.7e6 (2e6)∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 61 (137)∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 3.5 (5)∞∞∞∞∞∞1e70/15
RS-3 Brockhoff 4.1 (5)∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 4.2 (8)∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 7.0 (8)∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 24 (39)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 16 (26)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 48 (58)∞∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas 1953 (2119)∞∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 181 (164)∞∞∞∞∞∞1e60/15

Δ fopt
f18, 10-D		 1e1
238		 1e0
836		 1e-1
7012		 1e-2
15928		 1e-3
27536		 1e-5
37234		 1e-7
42708		 #succ
15/15
Adaptive-Two-Mode Bodner 26 (43)4004 (2394)∞∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas 4290 (4897)∞∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas 1.9e4 (3e4)∞∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas 8329 (7690)∞∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 8.0 (5)138 (80)587 (543)886 (927)513 (700)∞∞1e60/15
GNN-CMA-ES Faury 1.3 (0.6)2.4 (4)1.2 (1)0.89 (0.4)0.93 (0.5)0.92 (0.3)0.93 (0.3)15/15
IPOP-CMA-ES-2019 Faury 1.1 (0.3)1.1 (0.3)0.46 (0.5)0.77 (0.6)0.77 (0.6)0.74 (0.3)0.88 (0.3)15/15
L-BFGS-B-scipy-2019 Varelas 2557 (2712)∞∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas 2.9e4 (4e4)∞∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 8170 (8618)∞∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff 2.8e5 (4e5)∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff 2.8e5 (4e5)∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 1.7e5 (2e5)∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 1.7e5 (2e5)∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 7.1e4 (1e5)∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 5.5e4 (7e4)∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 1.1e4 (2e4)∞∞∞∞∞∞1e70/15
RS-3 Brockhoff 1.4e4 (3e4)∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 1480 (1628)∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 5259 (3981)∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 2.6e4 (3e4)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 1.3e4 (1e4)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 6135 (9347)∞∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas 6.4e4 (6e4)∞∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 1.9e4 (2e4)∞∞∞∞∞∞1e60/15

Δ fopt
f19, 10-D		 1e1
1		 1e0
1		 1e-1
10609		 1e-2
9.8e5		 1e-3
1.4e6		 1e-5
1.4e6		 1e-7
1.4e6		 #succ
15/15
Adaptive-Two-Mode Bodner 1 (0)1 (0)0.53 (0.3)★4↑1∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas 4050 (4624)2.5e5 (2e5)∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas 1.9e4 (2e4)2.1e6 (3e6)∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas 120 (124)6.0e5 (6e5)∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 349 (224)2.9e5 (5e5)436 (453)∞∞∞∞1e60/15
GNN-CMA-ES Faury 1 (0)1 (0)25 (24)∞∞∞∞1e50/15
IPOP-CMA-ES-2019 Faury 1 (0)1 (0)17 (13)∞∞∞∞1e50/15
L-BFGS-B-scipy-2019 Varelas 6810 (1e4)3.8e5 (3e5)∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas 3416 (2376)1.5e6 (2e6)∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 6700 (7550)1.5e7 (1e7)∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞1e70/15
RS-0p5 Brockhoff 1.9 (1)6.3e4 (6e4)∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞1e70/15
RS-10 Brockhoff 6.3e5 (6e5)∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 2.2 (2)3.7e5 (4e5)∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 6.1 (10)1.3e7 (2e7)∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞1e70/15
RS-3 Brockhoff 20 (18)∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞1e70/15
RS-6 Brockhoff 4354 (4220)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 2.1e7 (4e7)∞∞∞∞∞∞8e60/15
TNC-scipy-2019 Varelas 1.8e4 (2e4)1.9e6 (2e6)1419 (1430)∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 1.0e4 (1e4)1.9e6 (2e6)∞∞∞∞∞1e60/15

Δ fopt
f20, 10-D		 1e1
32		 1e0
15426		 1e-1
5.5e5		 1e-2
5.7e5		 1e-3
5.7e5		 1e-5
5.8e5		 1e-7
5.9e5		 #succ
15/15
Adaptive-Two-Mode Bodner 20 (15)4.9 (6)∞∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas 10 (3)2.1 (3)∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas 2.0 (0.6)13 (11)∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas 1.00 (0.2)★22.1 (3)∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 32 (13)2.4 (3)7.7 (10)7.5 (9)7.4 (11)7.3 (7)7.2 (11)3/15
GNN-CMA-ES Faury 7.0 (3)2.2 (2)∞∞∞∞∞1e50/15
IPOP-CMA-ES-2019 Faury 5.2 (2)2.5 (1)∞∞∞∞∞1e50/15
L-BFGS-B-scipy-2019 Varelas 1.7 (0.3)1.1 (2)∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas 32 (41)10 (19)27 (21)26 (26)26 (46)25 (21)25 (30)0/15
Powell-scipy-2019 Varelas 11 (3)1.1 (2)∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 366 (290)∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 2.1e6 (1e6)∞∞∞∞∞∞1e70/15
RS-10 Brockhoff 4.6e6 (4e6)∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 472 (538)∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 13 (19)∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 14 (16)∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 43 (52)∞∞∞∞∞∞1e70/15
RS-3 Brockhoff 46 (58)∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 1005 (1278)∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 8514 (1e4)∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 3.7e4 (3e4)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 4.0e4 (4e4)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 1.9 (1)2.1 (2)∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas 11 (7)15 (18)∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 18 (15)1.6 (2)∞∞∞∞∞1e60/15

Δ fopt
f21, 10-D		 1e1
130		 1e0
2236		 1e-1
4392		 1e-2
4487		 1e-3
4618		 1e-5
5074		 1e-7
11329		 #succ
15/15
Adaptive-Two-Mode Bodner 61 (13)5818 (7383)2962 (3075)2900 (2899)2818 (2383)2565 (3845)1149 (971)2/15
BFGS-scipy-2019 Varelas 2.8 (3)1.3 (2)1.8 (1)1.8 (1)1.7 (1)1.6 (1)0.91 (1)15/15
CG-scipy-2019 Varelas 4.7 (6)3.3 (4)2.5 (4)2.5 (4)2.4 (4)2.3 (3)2.0 (3)10/15
COBYLA-scipy-2019 Varelas 3.4 (2)8.2 (9)7.6 (12)7.5 (12)7.3 (12)6.6 (11)3.0 (5)15/15
DE-scipy-2019 Varelas 14 (6)5.3 (5)4.3 (6)4.3 (6)4.3 (6)4.1 (6)9.3 (11)8/15
GNN-CMA-ES Faury 4.9 (11)13 (22)15 (14)15 (11)14 (19)15 (17)6.6 (10)10/15
IPOP-CMA-ES-2019 Faury 5.8 (10)17 (25)14 (21)14 (21)14 (23)13 (20)5.7 (9)10/15
L-BFGS-B-scipy-2019 Varelas 3.3 (4)1.9 (2)1.2 (1)1.1 (1)1.1 (1)1.0 (1.0)0.51 (0.5)15/15
Nelder-Mead-scipy-2019 Varelas 21 (21)10 (16)7.1 (13)7.2 (12)7.1 (12)6.8 (11)3.1 (5)15/15
Powell-scipy-2019 Varelas 22 (24)13 (14)10 (12)10 (12)10 (12)8.8 (11)3.9 (5)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 3.7e5 (3e5)∞∞∞∞∞∞1e70/15
RS-10 Brockhoff 3.6e5 (3e5)∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 1.1e6 (1e6)∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 2.6e4 (4e4)6.7e4 (5e4)∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 2.3e4 (4e4)6.3e4 (7e4)∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 164 (223)1.0e4 (1e4)∞∞∞∞∞1e70/15
RS-3 Brockhoff 131 (170)8643 (1e4)∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 150 (159)3896 (3705)∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 1047 (1025)3.1e4 (3e4)∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 2108 (1995)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 3113 (3382)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 1.3 (2)1.2 (1)1.9 (3)1.9 (3)1.9 (3)1.7 (3)0.78 (1)15/15
TNC-scipy-2019 Varelas 58 (116)27 (35)19 (27)23 (30)31 (29)191 (301)∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 15 (23)10 (10)10 (7)10 (7)9.5 (7)8.6 (6)3.9 (3)15/15

Δ fopt
f22, 10-D		 1e1
98		 1e0
2839		 1e-1
6353		 1e-2
6620		 1e-3
6798		 1e-5
8296		 1e-7
10351		 #succ
15/15
Adaptive-Two-Mode Bodner 3177 (1e4)1942 (2291)4411 (5748)4234 (6726)4124 (4415)3382 (6271)2714 (3673)1/15
BFGS-scipy-2019 Varelas 6.6 (11)2.2 (2)5.2 (7)5.0 (7)4.9 (7)4.0 (5)6.9 (5)5/15
CG-scipy-2019 Varelas 8.2 (11)3.4 (2)8.3 (17)8.0 (16)7.8 (16)6.5 (13)67 (96)0/15
COBYLA-scipy-2019 Varelas 5.8 (6)2.6 (4)5.3 (4)5.2 (4)5.2 (4)4.5 (3)3.8 (3)15/15
DE-scipy-2019 Varelas 26 (29)5.0 (5)5.0 (5)5.0 (5)4.9 (5)4.2 (4)1386 (1232)0/15
GNN-CMA-ES Faury 8.9 (15)25 (32)223 (394)214 (272)208 (169)171 (241)137 (174)1/15
IPOP-CMA-ES-2019 Faury 24 (61)17 (22)110 (110)106 (106)103 (66)84 (90)68 (58)2/15
L-BFGS-B-scipy-2019 Varelas 4.8 (6)1.7 (2)4.1 (3)4.0 (3)3.9 (3)3.2 (2)4.1 (5)11/15
Nelder-Mead-scipy-2019 Varelas 46 (44)6.5 (9)21 (16)24 (22)23 (21)20 (20)16 (16)14/15
Powell-scipy-2019 Varelas 24 (32)6.3 (8)8.0 (13)7.7 (12)7.6 (12)6.3 (10)5.1 (8)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 1.4e6 (2e6)∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 7.4e5 (7e5)∞∞∞∞∞∞1e70/15
RS-10 Brockhoff 7.1e5 (6e5)∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 1.4e6 (2e6)∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 8.1e4 (2e5)1.6e4 (2e4)∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 6.9e4 (1e5)2.4e4 (2e4)∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 651 (872)6581 (1e4)∞∞∞∞∞1e70/15
RS-3 Brockhoff 822 (1322)8356 (1e4)∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 923 (1577)1.7e4 (1e4)∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 2177 (3834)5.2e4 (7e4)∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 7773 (8384)∞∞∞∞∞∞1e70/15
RS-6 Brockhoff 6420 (7516)∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 4.5 (7)1.5 (2)2.4 (3)2.3 (3)2.2 (3)1.9 (3)3.2 (4)12/15
TNC-scipy-2019 Varelas 50 (98)59 (64)93 (135)126 (103)341 (425)∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 62 (37)5.7 (5)12 (23)11 (22)11 (21)9.1 (18)7.3 (14)15/15

Δ fopt
f23, 10-D		 1e1
3.0		 1e0
915		 1e-1
16425		 1e-2
1.8e5		 1e-3
2.0e5		 1e-5
2.1e5		 1e-7
2.1e5		 #succ
15/15
Adaptive-Two-Mode Bodner 2.4 (2)18 (39)820 (813)∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas 94 (250)500 (425)∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas 115 (262)372 (352)∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas 2.1 (1)0.83 (1)426 (548)∞∞∞∞1e60/15
DE-scipy-2019 Varelas 1.6 (2)186 (264)∞∞∞∞∞1e60/15
GNN-CMA-ES Faury 2.6 (3)19 (16)7.2 (5)2.5 (3)2.2 (2)2.2 (3)2.2 (3)3/15
IPOP-CMA-ES-2019 Faury 2.2 (2)25 (18)8.5 (10)7.8 (8)7.0 (9)6.9 (8)6.7 (9)1/15
L-BFGS-B-scipy-2019 Varelas 15 (9)77 (65)∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas 2.0 (2)1.1 (0.9)46 (55)∞∞∞∞1e60/15
Powell-scipy-2019 Varelas 2.3 (2)37 (41)∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff 2.0 (2)704 (673)∞∞∞∞∞1e70/15
RS-0p5 Brockhoff 2.1 (2)538 (462)∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff 1.5 (2)232 (185)∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff 146 (178)∞∞∞∞∞∞1e70/15
RS-10 Brockhoff 222 (182)∞∞∞∞∞∞1e70/15
RS-1 Brockhoff 2.2 (2)350 (322)∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff 3.0 (4)287 (262)∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff 2.2e5 (2e5)∞∞∞∞∞∞1e70/15
RS-20 Brockhoff 1.5e5 (2e5)∞∞∞∞∞∞1e70/15
RS-2 Brockhoff 1.3 (2)359 (426)∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff 2.1 (2)540 (547)∞∞∞∞∞1e70/15
RS-3 Brockhoff 1.6 (2)429 (424)∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff 1.7 (2)368 (341)∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff 1.7 (2)312 (340)∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff 2.2 (2)1897 (1245)∞∞∞∞∞1e70/15
RS-6 Brockhoff 2.3 (2)1733 (1716)∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas 10 (8)79 (99)∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas 71 (108)948 (1179)∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.2 (3)1.8 (2)21 (28)∞∞∞∞1e60/15

Δ fopt
f24, 10-D		 1e1
98761		 1e0
1.0e6		 1e-1
7.5e7		 1e-2
7.5e7		 1e-3
7.5e7		 1e-5
7.5e7		 1e-7
7.5e7		 #succ
1/15
Adaptive-Two-Mode Bodner 284 (431)∞∞∞∞∞∞2e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
DE-scipy-2019 Varelas 36 (37)∞∞∞∞∞∞1e60/15
GNN-CMA-ES Faury 1.1 (1)0.43 (0.6)∞∞∞∞∞1e50/15
IPOP-CMA-ES-2019 Faury 3.0 (3)∞∞∞∞∞∞1e50/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞1e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞1e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞1e60/15

Previous dimension | Dimension = 20 | Next dimension

Δ fopt
f1, 20-D		 1e1
43		 1e0
43		 1e-1
43		 1e-2
43		 1e-3
43		 1e-5
43		 1e-7
43		 #succ
15/15
Adaptive-Two-Mode Bodner 49 (13)97 (36)156 (47)205 (55)245 (65)373 (61)572 (109)15/15
BFGS-scipy-2019 Varelas 1.6 (0)1.6 (0)1.6 (0)1.6 (0)1.6 (0)1.6 (0)1.6 (0)15/15
CG-scipy-2019 Varelas 1.6 (0)1.6 (0)1.6 (0)1.6 (0)1.6 (0)1.6 (0)1.6 (0)15/15
COBYLA-scipy-2019 Varelas 1.2 (0.2)1.9 (0.5)3.3 (0.4)4.6 (0.4)6.0 (0.7)8.7 (0.6)11 (0.5)15/15
DE-scipy-2019 Varelas 113 (19)224 (84)241 (91)245 (91)245 (91)245 (91)245 (90)15/15
L-BFGS-B-scipy-2019 Varelas 1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)15/15
Nelder-Mead-scipy-2019 Varelas 360 (264)2410 (2071)9393 (9594)1.5e4 (1e4)2.2e4 (3e4)2.2e4 (3e4)1.1e5 (1e5)0/15
Powell-scipy-2019 Varelas 4.0 (0.4)4.2 (0.2)4.3 (0.1)4.3 (0.1)4.3 (0.1)5.7 (2)5.7 (2)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 0.58 (0)★4↑00.58 (0)★4↑00.58 (0)★4↑00.58 (0)★4↑00.58 (0)★4↑00.58 (0)★4↑00.58 (0)★4↑015/15
TNC-scipy-2019 Varelas 38 (34)83 (51)99 (56)132 (69)205 (92)419 (481)6315 (7620)7/15
adapt-Nelder-Mead-scipy-2019 Varelas 58 (26)123 (112)149 (94)159 (94)166 (94)175 (94)183 (94)15/15

Δ fopt
f2, 20-D		 1e1
385		 1e0
386		 1e-1
387		 1e-2
388		 1e-3
390		 1e-5
391		 1e-7
393		 #succ
15/15
Adaptive-Two-Mode Bodner 115 (79)170 (97)238 (101)467 (362)1195 (948)3823 (2407)4730 (2154)14/15
BFGS-scipy-2019 Varelas 3.9 (1)4.2 (1)4.5 (1.0)4.7 (1.0)4.9 (1.0)5.5 (1.0)6.1 (2)15/15
CG-scipy-2019 Varelas 206 (116)675 (734)2978 (2509)3.7e4 (4e4)∞∞∞2e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 65 (7)80 (9)106 (16)960 (1433)5720 (5073)∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas 14 (1)17 (2)20 (2)21 (2)21 (2)22 (3)23 (3)15/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 1.1 (0.1)★41.2 (0.0)★41.2 (0.0)★41.2 (0.0)★41.4 (0.4)★41.9 (0.1)★41.9 (0.0)★415/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 2.5 (0.7)2.7 (0.8)2.9 (0.8)3.0 (0.8)3.2 (0.9)3.5 (1)3.7 (1)15/15
TNC-scipy-2019 Varelas 32 (10)39 (16)47 (19)93 (85)237 (113)1902 (2727)4.0e4 (3e4)0/15
adapt-Nelder-Mead-scipy-2019 Varelas 46 (13)49 (10)51 (9)51 (9)51 (9)52 (9)53 (9)3/15

Δ fopt
f3, 20-D		 1e1
5066		 1e0
7626		 1e-1
7635		 1e-2
7637		 1e-3
7643		 1e-5
7646		 1e-7
7651		 #succ
15/15
Adaptive-Two-Mode Bodner 47 (37)★2101 (56)★4128 (63)★4128 (63)★4129 (63)★4130 (62)★4132 (63)★415/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 223 (204)3881 (3936)∞∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 1266 (1333)∞∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15

Δ fopt
f4, 20-D		 1e1
4722		 1e0
7628		 1e-1
7666		 1e-2
7686		 1e-3
7700		 1e-5
7758		 1e-7
1.4e5		 #succ
9/15
Adaptive-Two-Mode Bodner 91 (48)181 (60)★4288 (79)287 (80)288 (80)289 (79)16 (4)15/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 247 (238)∞∞∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 157 (172)∞∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15

Δ fopt
f5, 20-D		 1e1
41		 1e0
41		 1e-1
41		 1e-2
41		 1e-3
41		 1e-5
41		 1e-7
41		 #succ
15/15
Adaptive-Two-Mode Bodner 35 (22)38 (23)38 (21)38 (21)38 (21)38 (21)38 (21)15/15
BFGS-scipy-2019 Varelas 2.7 (0.3)3.4 (0.5)3.5 (0.5)3.6 (0.3)3.6 (0.3)3.6 (0.3)3.6 (0.3)15/15
CG-scipy-2019 Varelas 2.9 (0.3)3.9 (0.8)4.0 (0.8)4.0 (0.8)4.0 (0.8)4.0 (0.8)4.0 (0.8)15/15
COBYLA-scipy-2019 Varelas 3.1 (0.6)3.8 (0.6)3.9 (0.7)3.9 (0.7)3.9 (0.7)3.9 (0.7)3.9 (0.7)15/15
DE-scipy-2019 Varelas 1266 (489)2844 (1756)3273 (2677)3273 (2677)3273 (2677)3273 (2677)3273 (2677)15/15
L-BFGS-B-scipy-2019 Varelas 2.3 (0.5)2.7 (0.5)2.8 (0.5)2.8 (0.5)2.8 (0.5)2.8 (0.5)2.8 (0.5)15/15
Nelder-Mead-scipy-2019 Varelas 394 (285)423 (337)423 (338)423 (338)423 (338)423 (338)423 (338)15/15
Powell-scipy-2019 Varelas 6.9 (0.1)6.9 (0.1)6.9 (0.1)6.9 (0.1)6.9 (0.1)6.9 (0.1)6.9 (0.1)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff 8.8e5 (9e5)7.1e6 (7e6)∞∞∞∞∞2e70/15
RS-20 Brockhoff 2.8e5 (2e5)3.3e6 (3e6)7.0e6 (8e6)7.0e6 (6e6)7.0e6 (7e6)7.0e6 (1e7)7.0e6 (7e6)1/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 1.6 (0.3)★2.1 (0.5)2.2 (0.5)2.3 (0.5)2.3 (0.5)2.3 (0.5)2.3 (0.5)15/15
TNC-scipy-2019 Varelas 6.8 (3)7.2 (3)7.2 (3)7.2 (3)7.2 (3)7.2 (3)7.2 (3)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 56 (14)63 (15)63 (16)63 (16)63 (16)63 (16)63 (16)15/15

Δ fopt
f6, 20-D		 1e1
1296		 1e0
2343		 1e-1
3413		 1e-2
4255		 1e-3
5220		 1e-5
6728		 1e-7
8409		 #succ
15/15
Adaptive-Two-Mode Bodner 12 (6)13 (5)16 (9)17 (9)22 (16)34 (21)52 (50)15/15
BFGS-scipy-2019 Varelas 4.7 (2)3.8 (1)3.7 (1)4.0 (0.9)4.2 (0.9)4.8 (0.7)8.0 (8)12/15
CG-scipy-2019 Varelas 3.7 (2)3.9 (2)4.0 (1)4.4 (1)4.9 (2)5.6 (2)7.7 (5)10/15
COBYLA-scipy-2019 Varelas 24 (34)168 (328)4151 (4495)∞∞∞∞2e60/15
DE-scipy-2019 Varelas 68 (24)81 (16)86 (20)94 (18)109 (18)192 (162)605 (838)2/15
L-BFGS-B-scipy-2019 Varelas 2.8 (0.9)2.6 (0.5)2.6 (0.5)2.7 (0.7)2.7 (0.5)2.9 (0.3)3.0 (0.4)15/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 279 (257)1158 (769)1961 (1942)6805 (8226)∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 3.0 (0.9)2.6 (1)2.5 (0.8)2.6 (0.7)2.6 (0.8)2.9 (0.7)3.0 (0.6)15/15
TNC-scipy-2019 Varelas 29 (21)52 (45)186 (305)599 (944)5549 (7392)∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 631 (635)1700 (2787)1417 (1622)1458 (1538)2701 (2777)4326 (4979)∞2e60/15

Δ fopt
f7, 20-D		 1e1
1351		 1e0
4274		 1e-1
9503		 1e-2
16523		 1e-3
16524		 1e-5
16524		 1e-7
16969		 #succ
15/15
Adaptive-Two-Mode Bodner 51 (37)∞∞∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas 1.0e4 (1e4)∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 20 (4)276 (371)★22981 (4631)★2∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 2.2e4 (3e4)∞∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15

Δ fopt
f8, 20-D		 1e1
2039		 1e0
3871		 1e-1
4040		 1e-2
4148		 1e-3
4219		 1e-5
4371		 1e-7
4484		 #succ
15/15
Adaptive-Two-Mode Bodner 103 (76)277 (74)423 (112)781 (143)1.4e4 (2e4)∞∞4e60/15
BFGS-scipy-2019 Varelas 1.7 (0.5)1.4 (1)1.4 (1)1.4 (1)1.4 (1)1.4 (1)1.4 (1)15/15
CG-scipy-2019 Varelas 1.6 (0.6)1.7 (0.3)2.0 (0.3)2.2 (0.3)2.4 (0.4)2.5 (0.4)2.8 (0.5)15/15
COBYLA-scipy-2019 Varelas 6.9 (4)10 (10)14 (12)1252 (929)2084 (2500)∞∞2e60/15
DE-scipy-2019 Varelas 18 (6)12 (3)11 (3)11 (3)11 (3)10 (3)13 (11)11/15
L-BFGS-B-scipy-2019 Varelas 0.67 (0.1)↑00.66 (0.3)0.70 (0.3)0.70 (0.3)0.71 (0.3)0.70 (0.3)0.69 (0.3)15/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 2.0 (1)2.2 (1)2.6 (1)2.9 (1)3.1 (1)3.2 (1)3.4 (1)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 1.1 (0.4)0.81 (0.3)0.82 (0.3)0.82 (0.3)0.82 (0.3)0.81 (0.3)0.80 (0.3)15/15
TNC-scipy-2019 Varelas 66 (91)186 (272)318 (297)573 (813)890 (1076)7169 (6566)∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 5.3 (1)5.5 (4)5.9 (3)6.1 (3)6.1 (3)6.0 (3)6.0 (3)15/15

Δ fopt
f9, 20-D		 1e1
1716		 1e0
3102		 1e-1
3277		 1e-2
3379		 1e-3
3455		 1e-5
3594		 1e-7
3727		 #succ
15/15
Adaptive-Two-Mode Bodner 60 (62)290 (128)609 (127)5842 (7698)∞∞∞4e60/15
BFGS-scipy-2019 Varelas 1.9 (0.7)1.5 (0.9)1.5 (0.8)1.5 (0.8)1.5 (0.8)1.4 (0.8)1.4 (0.7)15/15
CG-scipy-2019 Varelas 1.6 (0.2)2.4 (0.2)2.7 (0.3)2.9 (0.3)3.1 (0.2)3.3 (0.4)3.5 (0.6)15/15
COBYLA-scipy-2019 Varelas 5.9 (4)9.5 (9)12 (6)1094 (1220)4233 (5720)∞∞2e60/15
DE-scipy-2019 Varelas 20 (4)12 (4)12 (4)11 (4)11 (4)11 (4)13 (5)12/15
L-BFGS-B-scipy-2019 Varelas 0.83 (0.2)★0.79 (0.1)↑10.81 (0.1)↑10.82 (0.1)↑10.82 (0.1)↑10.81 (0.1)↑10.79 (0.1)↑115/15
Nelder-Mead-scipy-2019 Varelas 5126 (4492)∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 6.0 (3)11 (6)11 (6)11 (6)11 (6)11 (6)11 (5)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 1.1 (0.3)1.0 (0.5)1.0 (0.5)1.0 (0.5)1.0 (0.5)0.99 (0.5)0.97 (0.5)15/15
TNC-scipy-2019 Varelas 178 (198)1004 (1618)2892 (3835)9185 (1e4)∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 6.8 (3)7.4 (3)7.8 (4)8.0 (3)8.0 (3)7.9 (3)7.7 (3)0/15

Δ fopt
f10, 20-D		 1e1
7413		 1e0
8661		 1e-1
10735		 1e-2
13641		 1e-3
14920		 1e-5
17073		 1e-7
17476		 #succ
15/15
Adaptive-Two-Mode Bodner ∞∞∞∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas 0.20 (0.0)↑00.18 (0.0)↑00.16 (0.0)↑00.13 (0.0)↑00.13 (0.0)↑00.14 (0.0)↑017 (18)1/15
CG-scipy-2019 Varelas 12 (5)38 (42)198 (182)1066 (1618)∞∞∞2e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 370 (272)3489 (4828)∞∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas 0.72 (0.2)↑10.79 (0.1)↑10.71 (0.1)↑00.63 (0.1)↑10.60 (0.1)↑10.55 (0.1)↑026 (32)0/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 11 (3)10 (0.8)8.6 (0.7)7.0 (0.3)6.6 (0.5)6.0 (0.5)6.1 (0.7)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 0.13 (0.0)★3↑00.11 (0.0)★3↑00.10 (0.0)★3↑00.08 (0.0)★3↑00.08 (0.0)★3↑00.08 (0.0)★3↑0135 (256)0/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 2.6 (0.6)2.4 (0.4)1.9 (0.3)1.5 (0.2)1.4 (0.2)1.3 (0.2)2.1 (1)0/15

Δ fopt
f11, 20-D		 1e1
1002		 1e0
2228		 1e-1
6278		 1e-2
8586		 1e-3
9762		 1e-5
12285		 1e-7
14831		 #succ
15/15
Adaptive-Two-Mode Bodner 53 (27)49 (22)28 (7)31 (8)37 (9)50 (10)72 (15)15/15
BFGS-scipy-2019 Varelas 0.29 (0.2)↑00.17 (0.1)↑00.07 (0.0)↑00.06 (0.0)↑00.08 (0.1)↑00.33 (0.3)↑113 (17)2/15
CG-scipy-2019 Varelas 1.1 (0.4)0.78 (0.3)↑10.34 (0.1)↑00.32 (0.1)↑00.36 (0.1)↑01.9 (2)∞2e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 850 (132)715 (151)268 (64)229 (128)294 (121)∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas 0.63 (0.2)↑00.45 (0.1)↑00.20 (0.0)↑00.18 (0.0)↑00.21 (0.1)↑00.88 (1.0)619 (618)0/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 61 (29)41 (5)17 (8)14 (7)13 (6)10 (5)8.7 (4)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 0.23 (0.2)↑00.13 (0.1)↑00.05 (0.0)↑00.04 (0.0)↑00.05 (0.0)↑00.15 (0.4)↑0555 (687)0/15
TNC-scipy-2019 Varelas 8.6 (6)13 (10)7.8 (6)26 (20)188 (164)∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 22 (8)12 (3)4.7 (1)3.5 (0.9)3.1 (0.8)2.5 (0.6)2.1 (0.5)15/15

Δ fopt
f12, 20-D		 1e1
1042		 1e0
1938		 1e-1
2740		 1e-2
3156		 1e-3
4140		 1e-5
12407		 1e-7
13827		 #succ
15/15
Adaptive-Two-Mode Bodner 1411 (1922)8265 (5677)2.0e4 (2e4)∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas 4.5 (3)3.0 (2)2.4 (1)2.2 (1)1.8 (0.8)1.3 (1)62 (74)3/15
CG-scipy-2019 Varelas 1.3 (2)2.6 (3)3.6 (2)3.9 (1)4.2 (1)121 (125)∞2e60/15
COBYLA-scipy-2019 Varelas 0.38 (0.0)↑00.41 (0.3)↑02.0 (3)85 (71)∞∞∞2e60/15
DE-scipy-2019 Varelas 51 (10)31 (8)24 (6)22 (10)19 (10)17 (17)2159 (2824)0/15
L-BFGS-B-scipy-2019 Varelas 0.58 (0.6)0.58 (0.7)0.67 (0.5)0.70 (0.4)★30.62 (0.3)★20.45 (0.3)★↑01.7 (2)15/15
Nelder-Mead-scipy-2019 Varelas 807 (621)1576 (1021)1.1e4 (1e4)∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 3.0 (2)4.2 (3)4.4 (3)4.4 (2)4.0 (2)1.7 (0.7)1.9 (0.8)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 5.6 (3)3.6 (2)2.8 (1)2.5 (1)2.0 (0.8)1.7 (2)20 (30)7/15
TNC-scipy-2019 Varelas 25 (61)31 (33)89 (71)187 (260)330 (256)∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 23 (19)31 (41)31 (36)32 (28)38 (32)∞∞2e60/15

Δ fopt
f13, 20-D		 1e1
652		 1e0
2021		 1e-1
2751		 1e-2
3507		 1e-3
18749		 1e-5
24455		 1e-7
30201		 #succ
15/15
Adaptive-Two-Mode Bodner 4112 (6141)5456 (5940)9469 (1e4)∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas 1.4 (0.1)0.62 (0.0)↑00.58 (0.0)↑00.55 (0.0)↑094 (133)244 (245)∞2e60/15
CG-scipy-2019 Varelas 2.4 (3)6.4 (7)11 (11)26 (28)16 (11)370 (466)∞2e60/15
COBYLA-scipy-2019 Varelas 0.91 (1)★1.1 (0.6)4.1 (4)∞∞∞∞2e60/15
DE-scipy-2019 Varelas 58 (20)39 (27)82 (55)174 (225)135 (117)∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas 1.5 (2)3.4 (3)8.0 (6)11 (10)3.4 (5)53 (48)∞2e60/15
Nelder-Mead-scipy-2019 Varelas 2239 (2385)3388 (3258)3431 (3838)8394 (8269)∞∞∞2e60/15
Powell-scipy-2019 Varelas 41 (90)222 (506)324 (398)541 (756)321 (325)547 (777)∞2e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 1.2 (0.1)0.58 (0.0)↑00.52 (0.0)↑00.51 (0.0)★2↑06198 (1e4)3.4e4 (3e4)∞4e70/15
TNC-scipy-2019 Varelas 12 (5)12 (22)42 (69)135 (127)77 (94)1207 (1625)∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 16 (9)7.3 (5)7.9 (5)6.3 (4)1.9 (1)15 (18)∞2e60/15

Δ fopt
f14, 20-D		 1e1
75		 1e0
239		 1e-1
304		 1e-2
451		 1e-3
932		 1e-5
1648		 1e-7
15661		 #succ
15/15
Adaptive-Two-Mode Bodner 18 (13)20 (7)24 (6)28 (7)57 (17)∞∞4e60/15
BFGS-scipy-2019 Varelas 1.4 (0.4)0.76 (0.2)1.1 (0.3)1.1 (0.2)0.75 (0.1)↑00.72 (0.1)↑0∞2e60/15
CG-scipy-2019 Varelas 1.6 (0.7)0.94 (0.3)1.2 (0.3)1.5 (0.3)2.1 (0.4)14 (6)∞2e60/15
COBYLA-scipy-2019 Varelas 0.81 (0.1)★2↑10.43 (0.1)★3↑00.61 (0.1)★3↑00.92 (0.1)6977 (4521)∞∞2e60/15
DE-scipy-2019 Varelas 32 (13)46 (13)42 (14)31 (9)16 (4)2375 (2270)∞2e60/15
L-BFGS-B-scipy-2019 Varelas 1.6 (0.4)0.85 (0.2)1.0 (0.1)1.1 (0.1)0.83 (0.1)↑01.2 (0.2)∞2e60/15
Nelder-Mead-scipy-2019 Varelas 57 (74)1157 (842)2.1e4 (2e4)2.9e4 (4e4)∞∞∞2e60/15
Powell-scipy-2019 Varelas 3.9 (1)2.3 (0.4)2.5 (0.4)4.3 (0.9)8.0 (4)21 (6)4.9 (2)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff 1.7e6 (2e6)∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff 1.7e6 (2e6)∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff 2.2e5 (4e5)∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff 1.5e5 (2e5)∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff 3.6e4 (9e4)∞∞∞∞∞∞2e70/15
RS-3 Brockhoff 3.0e4 (4e4)∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff 1.3e4 (2e4)∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff 4.8e4 (4e4)∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff 3.8e6 (5e6)∞∞∞∞∞∞2e70/15
RS-6 Brockhoff 8.0e5 (8e5)∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 1.1 (0.3)0.63 (0.1)↑00.78 (0.1)↑00.84 (0.1)↑10.57 (0.1)★3↑00.54 (0.1)★3↑0∞2e60/15
TNC-scipy-2019 Varelas 24 (12)19 (12)22 (13)141 (44)2501 (3963)∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 21 (10)16 (6)20 (10)16 (7)9.0 (3)6.9 (1)1.7 (0.8)★314/15

Δ fopt
f15, 20-D		 1e1
30378		 1e0
1.5e5		 1e-1
3.1e5		 1e-2
3.2e5		 1e-3
3.2e5		 1e-5
4.5e5		 1e-7
4.6e5		 #succ
15/15
Adaptive-Two-Mode Bodner ∞∞∞∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 988 (790)∞∞∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15

Δ fopt
f16, 20-D		 1e1
1384		 1e0
27265		 1e-1
77015		 1e-2
1.4e5		 1e-3
1.9e5		 1e-5
2.0e5		 1e-7
2.2e5		 #succ
15/15
Adaptive-Two-Mode Bodner 154 (401)∞∞∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas 3.3 (5)∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 4084 (4085)∞∞∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas 2776 (3613)∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 560 (571)∞∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff 2.1e5 (2e5)∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff 3.9e4 (3e4)∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff 2.1e5 (2e5)∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff 1.1e5 (9e4)∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff 2.1e5 (3e5)∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff 2.2e5 (2e5)∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff 1.0e5 (9e4)∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff 2.0e5 (3e5)∞∞∞∞∞∞2e70/15
RS-6 Brockhoff 2.1e5 (2e5)∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 2.1e4 (1e4)∞∞∞∞∞∞2e60/15

Δ fopt
f17, 20-D		 1e1
63		 1e0
1030		 1e-1
4005		 1e-2
12242		 1e-3
30677		 1e-5
56288		 1e-7
80472		 #succ
15/15
Adaptive-Two-Mode Bodner 6.2 (8)1.1e4 (1e4)∞∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas 191 (243)∞∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas 1.1e4 (2e4)∞∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas 1.1e4 (2e4)∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 11 (6)1554 (1605)3265 (2251)★2301 (2372)★∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas 195 (294)∞∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas 4402 (7173)∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 6556 (9979)∞∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff 1.2e5 (2e5)∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff 1.2e5 (2e5)∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff 8.3e4 (2e5)∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff 8.2e4 (2e5)∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff 4331 (467)∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff 2.3e4 (159)∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff 63 (58)∞∞∞∞∞∞2e70/15
RS-3 Brockhoff 65 (45)∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff 23 (44)∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff 119 (138)∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff 1350 (1565)∞∞∞∞∞∞2e70/15
RS-6 Brockhoff 1637 (2625)∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 251 (614)∞∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas 4434 (9630)∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 6178 (7397)∞∞∞∞∞∞2e60/15

Δ fopt
f18, 20-D		 1e1
621		 1e0
3972		 1e-1
19561		 1e-2
28555		 1e-3
67569		 1e-5
1.3e5		 1e-7
1.5e5		 #succ
15/15
Adaptive-Two-Mode Bodner 3973 (3279)1.5e4 (1e4)∞∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 24 (10)★600 (631)★31451 (1922)★31018 (1053)★3∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff 4.8e5 (4e5)∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15

Δ fopt
f19, 20-D		 1e1
1		 1e0
1		 1e-1
3.4e5		 1e-2
4.7e6		 1e-3
6.2e6		 1e-5
6.7e6		 1e-7
6.7e6		 #succ
15/15
Adaptive-Two-Mode Bodner 1 (0)1 (0)0.14 (0.1)★4↑0∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas 2.2e4 (2e4)∞∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas 6.9e5 (7e5)∞∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas 1006 (828)∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 1978 (958)8.4e5 (1e6)∞∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas 6.1e4 (6e4)∞∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas 6.5e4 (6e4)∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 1.1e5 (8e4)∞∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞2e70/15
RS-0p5 Brockhoff 1.8 (1)∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff 2.3 (2)∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff 3.5 (4)∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞2e70/15
RS-3 Brockhoff 170 (182)∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞2e70/15
RS-6 Brockhoff 1.3e7 (1e7)∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 1.2e8 (1e8)∞∞∞∞∞∞1e70/15
TNC-scipy-2019 Varelas 4.7e5 (7e5)∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 1.4e5 (2e5)∞∞∞∞∞∞2e60/15

Δ fopt
f20, 20-D		 1e1
82		 1e0
46150		 1e-1
3.1e6		 1e-2
5.5e6		 1e-3
5.5e6		 1e-5
5.6e6		 1e-7
5.6e6		 #succ
14/15
Adaptive-Two-Mode Bodner 21 (13)19 (16)∞∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas 12 (4)21 (19)∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas 1.9 (0.4)142 (135)∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas 0.96 (0.2)49 (65)∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 65 (19)92 (98)∞∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas 1.4 (0.1)14 (11)∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas 336 (378)608 (585)∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 10 (2)2.6 (3)∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff 3.6e5 (4e5)∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff 3.7e5 (3e5)∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff 2575 (3480)∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff 1419 (1406)∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff 9817 (1e4)∞∞∞∞∞∞2e70/15
RS-3 Brockhoff 2.0e4 (2e4)∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff 3.4e6 (3e6)∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 1.8 (1)9.2 (8)∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas 22 (16)192 (209)∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 81 (137)4.6 (5)∞∞∞∞∞2e60/15

Δ fopt
f21, 20-D		 1e1
561		 1e0
6541		 1e-1
14103		 1e-2
14318		 1e-3
14643		 1e-5
15567		 1e-7
17589		 #succ
15/15
Adaptive-Two-Mode Bodner 3572 (5352)3978 (6577)1845 (2625)1818 (1188)1778 (1503)1672 (1607)1481 (1934)2/15
BFGS-scipy-2019 Varelas 1.5 (2)1.5 (2)1.1 (1)1.1 (1)1.1 (1)1.0 (1)15 (16)2/15
CG-scipy-2019 Varelas 1.8 (2)1.9 (2)1.7 (2)1.7 (2)1.7 (2)1.6 (2)15 (13)2/15
COBYLA-scipy-2019 Varelas 1.8 (4)1.1 (1)1.5 (2)1.5 (2)1.4 (2)1.4 (2)1.2 (2)15/15
DE-scipy-2019 Varelas 12 (16)3.9 (3)2.3 (2)2.3 (2)2.3 (2)2.2 (2)31 (58)1/15
L-BFGS-B-scipy-2019 Varelas 1.1 (0.7)0.82 (0.8)1.1 (2)1.1 (2)1.0 (2)0.99 (2)1.3 (2)6/15
Nelder-Mead-scipy-2019 Varelas 75 (61)74 (68)81 (81)94 (118)118 (105)326 (385)751 (792)1/15
Powell-scipy-2019 Varelas 5.4 (12)4.1 (6)2.8 (4)2.7 (4)2.7 (4)2.6 (4)2.3 (3)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff 5.3e5 (7e5)∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff 5.0e5 (5e5)∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff 1.5e5 (2e5)∞∞∞∞∞∞2e70/15
RS-3 Brockhoff 5.0e5 (6e5)∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 0.68 (1)0.95 (0.9)1.0 (1)0.99 (1)0.97 (1)0.93 (1)0.92 (1)12/15
TNC-scipy-2019 Varelas 49 (79)19 (22)34 (43)45 (71)54 (80)894 (970)∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 10 (12)16 (13)14 (6)14 (6)14 (6)13 (5)12 (5)15/15

Δ fopt
f22, 20-D		 1e1
467		 1e0
5580		 1e-1
23491		 1e-2
24163		 1e-3
24948		 1e-5
26847		 1e-7
1.3e5		 #succ
12/15
Adaptive-Two-Mode Bodner 1326 (4286)2870 (4662)1108 (1448)1078 (952)1044 (1364)972 (1081)195 (208)2/15
BFGS-scipy-2019 Varelas 5.7 (11)3.9 (6)12 (25)12 (25)12 (24)11 (22)22 (38)0/15
CG-scipy-2019 Varelas 6.3 (6)6.2 (7)15 (17)14 (17)14 (16)13 (15)218 (238)0/15
COBYLA-scipy-2019 Varelas 3.0 (8)4.6 (10)4.2 (3)4.2 (3)4.1 (3)3.9 (3)0.81 (0.6)15/15
DE-scipy-2019 Varelas 29 (39)29 (37)41 (86)40 (66)39 (82)38 (41)∞2e60/15
L-BFGS-B-scipy-2019 Varelas 3.6 (4)3.6 (6)11 (15)11 (15)11 (14)10 (13)15 (14)0/15
Nelder-Mead-scipy-2019 Varelas 203 (234)264 (422)1211 (1128)∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 18 (28)21 (20)38 (55)37 (47)36 (47)34 (42)6.7 (15)12/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff 6.2e5 (4e5)∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff 6.3e5 (4e5)∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 2.9 (6)3.5 (6)8.7 (11)8.5 (11)8.2 (11)7.7 (10)6.3 (8)1/15
TNC-scipy-2019 Varelas 64 (123)126 (182)169 (101)564 (603)∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 56 (69)24 (33)53 (80)52 (54)50 (47)46 (57)9.3 (9)11/15

Δ fopt
f23, 20-D		 1e1
3.0		 1e0
1614		 1e-1
67457		 1e-2
3.7e5		 1e-3
4.9e5		 1e-5
8.1e5		 1e-7
8.4e5		 #succ
15/15
Adaptive-Two-Mode Bodner 3.6 (5)391 (548)∞∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas 189 (416)4117 (3715)∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas 144 (365)1.8e4 (2e4)∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas 2.8 (3)1.4 (1)∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas 1.6 (0.8)590 (996)∞∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas 27 (32)90 (94)∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas 5.4 (6)1.2 (0.8)∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas 4.2 (6)99 (105)∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff 2.1 (2)5.6e4 (6e4)∞∞∞∞∞2e70/15
RS-0p5 Brockhoff 2.4 (2)1.8e5 (2e5)∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff 3.1 (3)3.2e4 (2e4)∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff 4.3e4 (5e4)∞∞∞∞∞∞2e70/15
RS-10 Brockhoff 3.0e4 (3e4)∞∞∞∞∞∞2e70/15
RS-1 Brockhoff 1.8 (2)2.5e4 (2e4)∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff 1.6 (1)5.9e4 (5e4)∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff 4.3e7 (6e7)∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff 2.4 (3)1.8e5 (2e5)∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff 3.0 (3)3.7e4 (4e4)∞∞∞∞∞2e70/15
RS-3 Brockhoff 1.0 (1)8.9e4 (8e4)∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff 2.4 (2)1.8e5 (2e5)∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff 1.7 (2)1.8e5 (2e5)∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff 2.5 (3)∞∞∞∞∞∞2e70/15
RS-6 Brockhoff 3.5 (4)∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas 16 (10)170 (218)∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas 190 (235)∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.3 (3)2.3 (2)440 (326)∞∞∞∞2e60/15

Δ fopt
f24, 20-D		 1e1
1.3e6		 1e0
7.5e6		 1e-1
5.2e7		 1e-2
5.2e7		 1e-3
5.2e7		 1e-5
5.2e7		 1e-7
5.2e7		 #succ
3/15
Adaptive-Two-Mode Bodner ∞∞∞∞∞∞∞4e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
DE-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞2e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞2e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞2e60/15

Previous dimension | Dimension = 40 | First dimension

Δ fopt
f1, 40-D		 1e1
83		 1e0
83		 1e-1
83		 1e-2
83		 1e-3
83		 1e-5
83		 1e-7
83		 #succ
15/15
Adaptive-Two-Mode Bodner 63 (27)105 (47)146 (47)192 (48)245 (42)399 (93)570 (121)15/15
BFGS-scipy-2019 Varelas 1.7 (0.3)2.0 (0)2.0 (0)2.0 (0)2.0 (0)2.0 (0)2.0 (0)15/15
CG-scipy-2019 Varelas 1.5 (0)1.7 (0.5)1.8 (0.5)1.9 (0.5)1.9 (0.5)1.9 (0.5)1.9 (0.5)15/15
COBYLA-scipy-2019 Varelas 1.3 (0.1)2.3 (0.1)3.9 (0.5)5.2 (1.0)6.8 (0.8)10 (0.9)13 (0.8)0/15
DE-scipy-2019 Varelas 366 (105)517 (245)547 (260)547 (260)547 (260)547 (260)547 (260)15/15
L-BFGS-B-scipy-2019 Varelas 1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)15/15
Nelder-Mead-scipy-2019 Varelas 8545 (1e4)∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 4.4 (0.2)4.5 (0.0)4.5 (0.0)4.5 (0.0)4.5 (0.0)5.2 (0.1)8.4 (7)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 0.54 (0)★4↑00.54 (0)★4↑00.54 (0)★4↑00.54 (0)★4↑00.54 (0)★4↑00.54 (0)★4↑00.54 (0)★4↑015/15
TNC-scipy-2019 Varelas 114 (71)175 (115)219 (110)281 (158)487 (342)1641 (1373)8.4e4 (7e4)1/15
adapt-Nelder-Mead-scipy-2019 Varelas 138 (65)389 (313)540 (372)719 (518)761 (502)789 (513)802 (509)0/15

Δ fopt
f2, 40-D		 1e1
796		 1e0
797		 1e-1
799		 1e-2
799		 1e-3
800		 1e-5
802		 1e-7
804		 #succ
15/15
Adaptive-Two-Mode Bodner 213 (124)407 (202)677 (348)2116 (1815)7508 (1e4)2.0e4 (2e4)2.1e4 (2e4)6/15
BFGS-scipy-2019 Varelas 5.5 (1)5.9 (1)6.2 (1)6.6 (1)6.8 (2)7.4 (2)7.9 (2)15/15
CG-scipy-2019 Varelas 348 (130)624 (424)1540 (1158)9937 (1e4)∞∞∞4e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas 132 (17)164 (28)3109 (5098)∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas 21 (2)27 (3)31 (4)34 (4)37 (2)40 (3)41 (3)15/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 1.1 (0.0)★41.1 (0.0)★41.1 (0.0)★41.2 (0.4)★41.5 (0.4)★41.9 (0.0)★41.9 (0.0)★415/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 3.7 (0.6)3.9 (0.8)4.1 (0.8)4.4 (0.8)4.5 (0.8)4.9 (0.8)5.2 (0.8)15/15
TNC-scipy-2019 Varelas 56 (14)79 (43)113 (57)171 (146)513 (492)1.8e4 (4e4)∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 206 (71)213 (67)216 (59)218 (59)219 (58)219 (58)236 (67)0/15

Δ fopt
f3, 40-D		 1e1
15526		 1e0
15602		 1e-1
15612		 1e-2
15641		 1e-3
15646		 1e-5
15651		 1e-7
15656		 #succ
15/15
Adaptive-Two-Mode Bodner 116 (38)★4215 (84)★4274 (123)274 (122)275 (122)278 (131)281 (132)15/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15

Δ fopt
f4, 40-D		 1e1
15536		 1e0
15601		 1e-1
15659		 1e-2
15678		 1e-3
15703		 1e-5
15733		 1e-7
2.8e5		 #succ
6/15
Adaptive-Two-Mode Bodner 276 (106)1444 (1021)7643 (7920)7634 (8549)7622 (7643)7611 (6230)424 (666)1/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15

Δ fopt
f5, 40-D		 1e1
98		 1e0
116		 1e-1
120		 1e-2
121		 1e-3
121		 1e-5
121		 1e-7
121		 #succ
15/15
Adaptive-Two-Mode Bodner 33 (12)30 (13)30 (12)29 (12)29 (12)29 (12)29 (12)15/15
BFGS-scipy-2019 Varelas 2.4 (0.2)2.4 (0.2)2.4 (0.2)2.4 (0.2)2.4 (0.2)2.4 (0.2)2.4 (0.2)15/15
CG-scipy-2019 Varelas 2.8 (0.4)2.7 (0.5)2.7 (0.7)2.7 (0.7)2.7 (0.7)2.7 (0.7)2.7 (0.7)15/15
COBYLA-scipy-2019 Varelas 2.9 (0.4)3.0 (0.3)3.0 (0.4)3.0 (0.3)3.0 (0.3)3.0 (0.3)3.0 (0.3)15/15
DE-scipy-2019 Varelas 6655 (3458)9828 (6876)1.0e4 (8046)1.0e4 (7980)1.0e4 (7980)1.0e4 (7980)1.0e4 (7980)15/15
L-BFGS-B-scipy-2019 Varelas 2.0 (0.2)2.0 (0.2)2.0 (0.3)2.0 (0.3)2.0 (0.3)2.0 (0.3)2.0 (0.3)15/15
Nelder-Mead-scipy-2019 Varelas 4355 (4193)4361 (4111)4215 (3974)4181 (3941)4181 (3941)4181 (3941)4181 (3941)15/15
Powell-scipy-2019 Varelas 5.9 (0.1)5.0 (0.1)4.8 (0.1)4.8 (0.1)4.8 (0.1)4.8 (0.1)4.8 (0.1)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 1.5 (0.2)★21.6 (0.2)★1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)15/15
TNC-scipy-2019 Varelas 6.8 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)6.7 (3)15/15
adapt-Nelder-Mead-scipy-2019 Varelas 90 (16)88 (20)86 (19)85 (19)85 (19)85 (19)85 (19)15/15

Δ fopt
f6, 40-D		 1e1
3507		 1e0
5523		 1e-1
7168		 1e-2
9470		 1e-3
11538		 1e-5
15007		 1e-7
19222		 #succ
15/15
Adaptive-Two-Mode Bodner 16 (6)21 (10)25 (13)31 (13)46 (24)84 (48)166 (155)14/15
BFGS-scipy-2019 Varelas 7.4 (2)7.0 (2)7.0 (2)6.7 (1)6.7 (1)7.0 (1)7.4 (0.9)15/15
CG-scipy-2019 Varelas 4.3 (1)5.4 (2)6.6 (2)7.0 (2)7.7 (2)8.6 (2)9.0 (2)4/15
COBYLA-scipy-2019 Varelas 13 (7)27 (11)1007 (1126)∞∞∞∞4e60/15
DE-scipy-2019 Varelas 399 (86)461 (63)512 (51)423 (0.3)745 (522)∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas 3.5 (0.9)3.8 (0.7)4.1 (0.7)4.1 (0.5)4.1 (0.5)4.3 (0.6)4.2 (0.5)15/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 1627 (1411)∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 4.4 (2)4.0 (1)4.0 (0.8)3.9 (0.7)4.0 (0.6)4.2 (0.9)4.2 (0.7)15/15
TNC-scipy-2019 Varelas 277 (339)1191 (1462)2431 (1736)∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15

Δ fopt
f7, 40-D		 1e1
10698		 1e0
17839		 1e-1
41037		 1e-2
66294		 1e-3
66294		 1e-5
66294		 1e-7
68145		 #succ
15/15
Adaptive-Two-Mode Bodner ∞∞∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas 144 (189)★3∞∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15

Δ fopt
f8, 40-D		 1e1
7080		 1e0
10655		 1e-1
11012		 1e-2
11265		 1e-3
11430		 1e-5
11701		 1e-7
11969		 #succ
15/15
Adaptive-Two-Mode Bodner 300 (233)406 (250)667 (473)2568 (2675)∞∞∞8e60/15
BFGS-scipy-2019 Varelas 2.1 (0.4)1.9 (1)1.9 (1)1.9 (1)1.8 (1)1.8 (1)1.8 (1)15/15
CG-scipy-2019 Varelas 2.7 (0.2)2.9 (2)3.0 (1)3.1 (1)3.3 (1)3.4 (1)3.7 (1)15/15
COBYLA-scipy-2019 Varelas 11 (7)14 (16)15 (16)227 (225)1225 (1575)∞∞4e60/15
DE-scipy-2019 Varelas 21 (10)16 (7)15 (7)15 (7)15 (7)14 (7)49 (54)7/15
L-BFGS-B-scipy-2019 Varelas 0.93 (0.2)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)1.1 (0.6)15/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 1.5 (1)3.9 (3)4.4 (3)4.7 (3)4.9 (3)5.1 (3)5.3 (3)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 1.2 (0.5)1.1 (0.7)1.1 (0.7)1.1 (0.7)1.1 (0.7)1.1 (0.7)1.1 (0.6)15/15
TNC-scipy-2019 Varelas 537 (348)911 (1220)1692 (1454)1655 (1879)2572 (3395)∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 21 (10)25 (21)25 (21)26 (20)26 (20)25 (19)25 (19)9/15

Δ fopt
f9, 40-D		 1e1
6122		 1e0
12982		 1e-1
13300		 1e-2
13496		 1e-3
13651		 1e-5
13909		 1e-7
14142		 #succ
15/15
Adaptive-Two-Mode Bodner 189 (323)235 (254)511 (358)∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas 2.1 (0.4)1.4 (0.8)1.4 (0.8)1.3 (0.8)1.3 (0.8)1.3 (0.8)1.3 (0.8)15/15
CG-scipy-2019 Varelas 3.0 (0.3)2.1 (0.2)2.3 (0.2)2.4 (0.2)2.5 (0.2)2.6 (0.3)2.8 (0.3)15/15
COBYLA-scipy-2019 Varelas 12 (3)10 (7)11 (7)311 (411)4235 (4873)∞∞4e60/15
DE-scipy-2019 Varelas 65 (18)31 (8)30 (8)30 (8)29 (8)29 (8)38 (53)6/15
L-BFGS-B-scipy-2019 Varelas 1.1 (0.2)★0.77 (0.4)0.78 (0.4)0.79 (0.4)0.79 (0.4)0.78 (0.4)0.78 (0.4)15/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 14 (6)9.4 (4)10 (3)11 (4)11 (4)11 (4)11 (4)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 1.3 (0.4)1.0 (0.5)1.0 (0.5)1.0 (0.5)1.0 (0.5)0.99 (0.4)0.98 (0.4)15/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 29 (15)20 (9)20 (9)21 (9)21 (9)21 (9)24 (13)0/15

Δ fopt
f10, 40-D		 1e1
25536		 1e0
29762		 1e-1
35676		 1e-2
51579		 1e-3
56007		 1e-5
65128		 1e-7
70824		 #succ
15/15
Adaptive-Two-Mode Bodner ∞∞∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas 0.17 (0.0)↑00.16 (0.0)↑00.14 (0.0)↑00.10 (0.0)↑00.09 (0.0)↑00.09 (0.0)↑091 (131)0/15
CG-scipy-2019 Varelas 12 (7)51 (43)116 (205)603 (681)∞∞∞4e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas 0.68 (0.1)↑00.74 (0.1)↑00.73 (0.1)↑00.56 (0.0)↑00.57 (0.1)↑00.89 (0.6)135 (176)0/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 142 (159)459 (529)1666 (1850)1152 (1648)∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 0.12 (0.0)★3↑00.11 (0.0)★3↑00.10 (0.0)★3↑00.07 (0.0)★3↑00.07 (0.0)★3↑00.12 (0.1)↑076 (89)0/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 7.1 (1)6.6 (1)5.6 (0.8)3.9 (0.6)3.6 (0.5)3.1 (0.5)831 (890)0/15

Δ fopt
f11, 40-D		 1e1
2368		 1e0
4855		 1e-1
11681		 1e-2
25315		 1e-3
29749		 1e-5
38949		 1e-7
48211		 #succ
15/15
Adaptive-Two-Mode Bodner 47 (13)45 (12)30 (8)22 (3)26 (4)36 (5)54 (11)15/15
BFGS-scipy-2019 Varelas 0.23 (0.1)↑00.15 (0.1)↑00.08 (0.0)↑00.04 (0.0)↑00.05 (0.0)↑00.19 (0.2)↑012 (13)2/15
CG-scipy-2019 Varelas 0.96 (0.3)0.73 (0.2)0.39 (0.1)↑00.21 (0.0)↑00.23 (0.0)↑00.54 (0.4)∞4e60/15
COBYLA-scipy-2019 Varelas 2.4e4 (3e4)∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas 1680 (0.1)819 (0.1)365 (0.1)181 (79)287 (300)∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas 0.69 (0.2)↑00.46 (0.1)↑00.24 (0.1)↑00.15 (0.0)↑00.16 (0.0)↑00.37 (0.2)↑185 (104)0/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 452 (406)963 (1055)844 (977)406 (619)346 (372)331 (466)363 (417)3/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 0.13 (0.1)★↑00.08 (0.0)★↑00.04 (0.0)★2↑00.02 (7e-3)★3↑00.02 (6e-3)★3↑05.2 (18)290 (285)0/15
TNC-scipy-2019 Varelas 28 (30)32 (15)17 (9)75 (88)∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 71 (30)43 (14)20 (5)9.5 (2)8.7 (3)7.1 (3)5.8 (2)0/15

Δ fopt
f12, 40-D		 1e1
4169		 1e0
7452		 1e-1
9174		 1e-2
10751		 1e-3
13146		 1e-5
22758		 1e-7
25192		 #succ
15/15
Adaptive-Two-Mode Bodner 705 (960)4299 (4563)∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas 3.1 (2)2.1 (0.9)1.8 (0.8)1.6 (0.7)1.4 (0.6)1.1 (0.9)58 (80)8/15
CG-scipy-2019 Varelas 1.4 (1)1.9 (2)2.4 (2)2.6 (2)2.7 (2)90 (95)1095 (1365)1/15
COBYLA-scipy-2019 Varelas 0.42 (0.5)0.95 (2)2.2 (3)∞∞∞∞4e60/15
DE-scipy-2019 Varelas 46 (4)27 (4)25 (5)24 (17)20 (14)27 (39)2234 (1749)0/15
L-BFGS-B-scipy-2019 Varelas 0.26 (0.2)↑00.35 (0.3)↑00.40 (0.2)↑00.40 (0.2)★3↑00.38 (0.2)★3↑00.49 (0.6)★1.2 (1)15/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 1.6 (2)2.2 (2)2.4 (2)2.4 (1)2.3 (1)1.7 (0.7)1.7 (0.6)15/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 2.1 (1)1.4 (0.7)1.3 (0.6)1.1 (0.5)0.99 (0.4)0.88 (0.4)53 (155)6/15
TNC-scipy-2019 Varelas 11 (10)23 (46)71 (85)123 (179)245 (261)2529 (2214)∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 117 (118)469 (453)1843 (1740)5343 (6046)∞∞∞4e60/15

Δ fopt
f13, 40-D		 1e1
2029		 1e0
6916		 1e-1
8734		 1e-2
11861		 1e-3
71936		 1e-5
98467		 1e-7
1.2e5		 #succ
15/15
Adaptive-Two-Mode Bodner 297 (3)4638 (4629)1.3e4 (2e4)∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas 1.4 (0.0)0.52 (0.0)↑00.55 (0.0)↑00.48 (0.0)↑068 (90)∞∞4e60/15
CG-scipy-2019 Varelas 1.5 (0.9)1.9 (3)6.9 (10)13 (12)7.1 (6)∞∞4e60/15
COBYLA-scipy-2019 Varelas 0.55 (0.4)0.80 (0.4)2.2 (2)∞∞∞∞4e60/15
DE-scipy-2019 Varelas 75 (21)42 (37)62 (56)242 (202)113 (141)608 (630)∞4e60/15
L-BFGS-B-scipy-2019 Varelas 1.5 (2)1.5 (1)3.0 (2)5.6 (5)1.6 (2)52 (50)∞4e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 12 (13)137 (291)249 (293)427 (475)188 (294)596 (1046)492 (410)0/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 1.2 (0.0)0.48 (0.0)↑00.52 (0.0)↑00.45 (6e-3)★4↑03955 (3763)∞∞9e70/15
TNC-scipy-2019 Varelas 21 (18)14 (17)40 (52)47 (39)39 (45)∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 43 (20)18 (6)17 (13)15 (13)4.6 (4)102 (131)∞4e60/15

Δ fopt
f14, 40-D		 1e1
304		 1e0
616		 1e-1
777		 1e-2
1105		 1e-3
2207		 1e-5
4825		 1e-7
57711		 #succ
15/15
Adaptive-Two-Mode Bodner 11 (5)14 (4)17 (4)27 (8)92 (11)∞∞8e60/15
BFGS-scipy-2019 Varelas 0.80 (0.1)↑10.68 (0.1)↑00.91 (0.1)1.1 (0.1)0.80 (0.1)↑00.64 (0.1)↑0∞4e60/15
CG-scipy-2019 Varelas 0.89 (0.2)0.77 (0.1)↑00.95 (0.1)1.4 (0.2)2.7 (0.6)26 (11)∞4e60/15
COBYLA-scipy-2019 Varelas 0.48 (0.1)★2↑00.40 (0.1)★4↑00.57 (0.0)★↑01.0 (0.1)36 (29)∞∞4e60/15
DE-scipy-2019 Varelas 87 (28)92 (23)78 (19)57 (13)29 (7)1.2e4 (2e4)∞4e60/15
L-BFGS-B-scipy-2019 Varelas 0.87 (0.2)0.73 (0.1)↑00.85 (0.1)1.00 (0.1)0.90 (0.1)↑11.2 (0.1)∞4e60/15
Nelder-Mead-scipy-2019 Varelas 282 (413)∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 2.5 (0.5)2.1 (0.3)2.3 (0.2)4.5 (0.9)11 (6)246 (272)181 (185)1/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 0.71 (0.2)↑00.58 (0.1)↑00.69 (0.1)↑00.82 (0.1)★2↑00.61 (0.1)★4↑00.50 (0.1)★3↑0∞4e60/15
TNC-scipy-2019 Varelas 36 (23)35 (15)43 (19)521 (491)2.6e4 (3e4)∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 20 (4)67 (44)84 (56)77 (34)41 (18)22 (8)987 (1074)0/15

Δ fopt
f15, 40-D		 1e1
1.9e5		 1e0
7.9e5		 1e-1
1.0e6		 1e-2
1.1e6		 1e-3
1.1e6		 1e-5
1.1e6		 1e-7
1.1e6		 #succ
15/15
Adaptive-Two-Mode Bodner ∞∞∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15

Δ fopt
f16, 40-D		 1e1
5244		 1e0
72122		 1e-1
3.2e5		 1e-2
7.1e5		 1e-3
1.4e6		 1e-5
2.0e6		 1e-7
2.0e6		 #succ
15/15
Adaptive-Two-Mode Bodner 2517 (4345)∞∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas 30 (36)★2∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15

Δ fopt
f17, 40-D		 1e1
399		 1e0
4220		 1e-1
14158		 1e-2
34948		 1e-3
51958		 1e-5
1.3e5		 1e-7
2.7e5		 #succ
14/15
Adaptive-Two-Mode Bodner 4.1 (8)∞∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas 401 (443)∞∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas 6184 (6376)∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas 1.3e4 (2e4)∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas 13 (7)1604 (2618)★33994 (3968)★31716 (1779)★3∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas 524 (533)∞∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas 3768 (5575)∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 6435 (6443)∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff 4.0e4 (5e4)∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff 3.1e4 (6e4)∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff 2.1e4 (5e4)∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff 1.4e6 (2e6)∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff 2.2e4 (5e4)∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff 752 (2178)∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff 1.4e6 (2e6)∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff 576 (196)∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff 100 (253)∞∞∞∞∞∞4e70/15
RS-3 Brockhoff 230 (397)∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff 449 (487)∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff 3917 (4349)∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff 6.6e5 (9e5)∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 159 (232)∞∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas 3342 (3979)∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 2.9e4 (5e4)∞∞∞∞∞∞4e60/15

Δ fopt
f18, 40-D		 1e1
1442		 1e0
16998		 1e-1
47068		 1e-2
1.3e5		 1e-3
1.9e5		 1e-5
6.7e5		 1e-7
9.5e5		 #succ
15/15
Adaptive-Two-Mode Bodner ∞∞∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas 51 (18)★4680 (774)★41220 (1854)★4∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15

Δ fopt
f19, 40-D		 1e1
1		 1e0
1		 1e-1
1.4e6		 1e-2
1.7e7		 1e-3
2.6e7		 1e-5
4.5e7		 1e-7
4.5e7		 #succ
8/15
Adaptive-Two-Mode Bodner 1 (0)1 (0)0.29 (0.1)★4↑0∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas 1.9e5 (3e5)∞∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas 1.4e7 (2e7)∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas 8.3e4 (8e4)∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas 1.2e4 (8852)4.2e6 (4e6)∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas 1.1e6 (2e6)∞∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas 1.5e6 (1e6)∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 4.3e6 (5e6)∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞4e70/15
RS-0p5 Brockhoff 1.3 (0.5)∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff 2.3 (2)∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff 11 (8)∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞4e70/15
RS-3 Brockhoff 3272 (4532)∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff 1 (0)1 (0)∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞3e70/15
TNC-scipy-2019 Varelas 6.0e6 (1e7)∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 7.8e6 (9e6)∞∞∞∞∞∞4e60/15

Δ fopt
f20, 40-D		 1e1
222		 1e0
1.3e5		 1e-1
1.6e8		 1e-2
∞		 1e-3
∞		 1e-5
∞		 1e-7
∞		 #succ
0/15
Adaptive-Two-Mode Bodner 15 (8)91 (98)∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas 12 (1)449 (473)∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas 1.6 (0.3)∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas 0.90 (0.2)∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas 128 (50)127 (130)∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas 1.1 (0.2)451 (426)∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas 2548 (2350)∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 7.5 (1)13 (12)★∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 2.3 (3)95 (115)∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas 52 (38)∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 148 (37)127 (183)∞∞∞∞∞4e60/15

Δ fopt
f21, 40-D		 1e1
1044		 1e0
21144		 1e-1
1.0e5		 1e-2
1.0e5		 1e-3
1.0e5		 1e-5
1.0e5		 1e-7
1.0e5		 #succ
26/30
Adaptive-Two-Mode Bodner 1922 (3835)1515 (1230)517 (835)515 (773)514 (1067)511 (609)509 (645)2/15
BFGS-scipy-2019 Varelas 0.86 (1.0)0.82 (0.8)0.34 (0.5)↑00.34 (0.5)↑00.34 (0.5)↑00.35 (0.5)↑0∞4e60/15
CG-scipy-2019 Varelas 2.7 (3)0.80 (0.8)0.72 (1)0.72 (1)0.72 (1)0.73 (1)49 (51)0/15
COBYLA-scipy-2019 Varelas 1.1 (1)1.5 (3)0.77 (1.0)0.77 (1.0)0.77 (0.9)0.77 (0.9)0.77 (0.9)15/15
DE-scipy-2019 Varelas 6.1 (11)1.5 (2)1.1 (1)1.1 (1)1.1 (1)1.1 (1)43 (34)1/15
L-BFGS-B-scipy-2019 Varelas 1.4 (1)1.5 (2)0.92 (1)0.91 (1)0.91 (1)0.91 (1)15 (17)0/15
Nelder-Mead-scipy-2019 Varelas 839 (520)482 (448)∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 10 (22)4.5 (6)9.3 (15)9.2 (15)9.2 (15)9.2 (15)9.2 (15)14/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 1.0 (2)0.39 (0.7)0.25 (0.4)↑00.25 (0.4)↑00.25 (0.4)↑00.26 (0.4)↑01.6 (2)4/15
TNC-scipy-2019 Varelas 22 (25)25 (39)18 (21)40 (37)51 (46)∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 69 (98)43 (46)32 (30)32 (40)32 (40)32 (30)32 (39)10/15

Δ fopt
f22, 40-D		 1e1
3090		 1e0
35442		 1e-1
6.5e5		 1e-2
6.5e5		 1e-3
6.5e5		 1e-5
6.5e5		 1e-7
6.5e5		 #succ
8/30
Adaptive-Two-Mode Bodner 1729 (2591)3162 (3501)∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas 1.3 (2)7.7 (11)4.0 (7)4.0 (5)4.0 (6)4.0 (4)∞4e60/15
CG-scipy-2019 Varelas 1.1 (1)16 (32)5.4 (5)5.4 (7)5.4 (7)5.4 (9)∞4e60/15
COBYLA-scipy-2019 Varelas 1.2 (2)4.5 (10)5.1 (5)5.1 (6)5.1 (5)5.1 (7)5.1 (6)10/15
DE-scipy-2019 Varelas 6.6 (5)12 (14)4.0 (5)4.0 (5)4.0 (5)11 (11)∞4e60/15
L-BFGS-B-scipy-2019 Varelas 1.1 (0.7)12 (17)4.9 (6)4.9 (6)4.9 (7)4.9 (6)42 (47)0/15
Nelder-Mead-scipy-2019 Varelas 786 (1032)∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 3.8 (7)23 (57)7.1 (7)7.1 (7)7.1 (12)7.1 (7)7.1 (8)8/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 1.5 (2)11 (34)3.7 (7)3.6 (4)3.6 (4)3.6 (4)11 (10)0/15
TNC-scipy-2019 Varelas 72 (62)57 (71)90 (135)∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 66 (87)82 (108)89 (103)89 (122)89 (62)89 (71)88 (99)1/15

Δ fopt
f23, 40-D		 1e1
7.0		 1e0
11925		 1e-1
75453		 1e-2
6.6e5		 1e-3
1.3e6		 1e-5
3.2e6		 1e-7
3.4e6		 #succ
15/15
Adaptive-Two-Mode Bodner 1.7 (2)1535 (2329)∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas 176 (361)2282 (2266)∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas 523 (674)∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas 1.2 (0.9)1.1 (1)∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas 1.5 (1)594 (714)∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas 96 (214)177 (141)∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas 4.6 (6)1.5 (2)∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas 1.7 (1)498 (751)∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff 1.8 (2)∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff 1.1 (1)∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff 1.8 (2)∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff 3.7e7 (3e7)∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff 1.1 (0.7)∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff 0.86 (0.6)∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff 3.7e7 (6e7)∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff 0.87 (1)∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff 1.2 (1)∞∞∞∞∞∞4e70/15
RS-3 Brockhoff 1.8 (1)∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff 1.0 (1)∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff 1.7 (1)∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff 4.4 (6)∞∞∞∞∞∞4e70/15
RS-6 Brockhoff 5.4 (6)∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas 19 (15)32 (55)∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas 380 (399)∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas 3.1 (4)0.90 (0.8)∞∞∞∞∞4e60/15

Δ fopt
f24, 40-D		 1e1
5.8e6		 1e0
9.8e7		 1e-1
3.0e8		 1e-2
3.0e8		 1e-3
3.0e8		 1e-5
3.0e8		 1e-7
3.0e8		 #succ
1/15
Adaptive-Two-Mode Bodner ∞∞∞∞∞∞∞8e60/15
BFGS-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
CG-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
COBYLA-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
DE-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
L-BFGS-B-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
Powell-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
RS-0p5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-0p5 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-10 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-1 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-20 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-2 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-3 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-4-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-5-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6-initIn0 Brockhoff ∞∞∞∞∞∞∞4e70/15
RS-6 Brockhoff ∞∞∞∞∞∞∞4e70/15
SLSQP-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
TNC-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15
adapt-Nelder-Mead-scipy-2019 Varelas ∞∞∞∞∞∞∞4e60/15

Expected runtime (ERT in number of f-evaluations) divided by the respective best ERT measured during BBOB-2009 (when finite) in different dimensions. This ERT ratio and, in braces as dispersion measure, the half difference between 10 and 90%-tile of (bootstrapped) run lengths appear for each algorithm and target, the corresponding reference ERT  in the first row. The different target ∆f-values are shown in the top row. #succ is the number of trials that reached the (final) target fopt+ 10−8. The median number of conducted function evaluations is additionally given in italics, if the target in the last column was never reached. The best entry is marked by a star when the largest p-value of pairwise rank-sum tests with the other algorithms either obeys 0.01 < p ≤ 0.05 or 10−k−1 < p ≤ 10−k when the star is followed by the number k, with Bonferroni correction by the number of functions (24). A ↑ signifies the number of trials that were worse than the ERT of the best algorithm from BBOB 2009 shown only when less than 10 percent were worse and the ERT was better. Best results are printed in bold.