Overview page

Table showing the ERT in number of evaluations divided by the best ERT of the reference algorithm

Last dimension | Dimension = 2 | Next dimension

Δ fopt
f1, 2-D		 1e1
2.0		 1e0
6.0		 1e-1
6.0		 1e-2
6.0		 1e-3
6.0		 1e-5
6.0		 1e-7
6.0		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.2 (2)1.6 (0.8)2.5 (0.8)3.3 (0.7)4.0 (0.7)5.5 (0.4)6.9 (0.7)15/15
uBBDE-N Vodopija 2.0 (2)6.6 (10)38 (33)78 (44)149 (53)295 (61)440 (63)15/15
uBBDE-best Vodopija 1.9 (2)3.1 (3)14 (10)24 (11)36 (9)59 (9)81 (11)15/15
uBBDE-ttb Vodopija 1.6 (1)6.4 (7)19 (16)53 (17)77 (17)127 (16)190 (30)15/15
uBBDE Vodopija 2.4 (2)3.5 (4)33 (34)88 (58)158 (47)322 (48)488 (47)15/15
uDE-best Vodopija 2.8 (3)5.4 (5)16 (13)30 (13)41 (14)69 (17)95 (21)15/15
uDE-rand Vodopija 2.7 (2)3.7 (5)19 (16)45 (23)71 (14)120 (23)165 (28)15/15
uDE-ttb Vodopija 2.1 (2)5.1 (5)20 (8)35 (11)53 (9)85 (12)119 (19)15/15
BBDE-N Vodopija 1.5 (1)5.2 (6)27 (24)61 (43)123 (63)255 (87)396 (56)15/15
BBDE-best Vodopija 2.1 (2)4.8 (4)10 (6)20 (8)34 (13)58 (10)81 (13)15/15
BBDE-ttb Vodopija 2.9 (4)6.4 (7)22 (15)56 (26)108 (40)215 (65)376 (107)15/15
BBDE Vodopija 1.7 (2)4.1 (5)26 (20)70 (50)116 (39)261 (41)416 (68)15/15
BFGS-M-17 Blelly 2.5 (2)1.1 (0.2)1.2 (0)★21.2 (0)★41.2 (0)★41.2 (0)★41.2 (0.2)★315/15
BFGS-P-09 Blelly 2.9 (2)1.5 (0.8)1.7 (0)1.7 (0)1.7 (0)1.7 (0)1.8 (0.3)15/15
BFGS-P-Instances Blelly 3.8 (2)1.6 (0)1.7 (0)1.7 (0)1.7 (0)1.7 (0)1.8 (0.3)15/15
BFGS-P-StPt Blelly 3.2 (2)1.7 (0)1.7 (0)1.7 (0)1.7 (0)1.7 (0)2.1 (0.3)15/15
BFGS-P-range Blelly 3.8 (2)1.7 (0)1.7 (0)1.7 (0)1.7 (0)1.7 (0)2.0 (0.3)15/15
CMAES-APOP-Var1 Nguyen 1.9 (2)3.1 (3)6.5 (3)11 (4)16 (3)25 (9)35 (6)15/15
CMAES-APOP-Var2 Nguyen 1.4 (2)2.2 (2)7.1 (4)12 (4)18 (4)28 (7)38 (6)15/15
CMAES-APOP-Var3 Nguyen 1.1 (0.8)1.8 (2)6.9 (3)12 (4)16 (5)26 (8)36 (6)15/15
DE-best Vodopija 2.6 (3)5.9 (4)16 (9)25 (11)39 (15)66 (19)95 (19)15/15
DE-rand Vodopija 2.0 (2)8.4 (5)23 (12)39 (18)70 (18)118 (21)162 (25)15/15
DE-ttb Vodopija 3.7 (4)5.8 (5)17 (12)36 (10)49 (18)85 (16)119 (16)15/15
PSA-CMA-ES Nishida 2.9 (5)3.9 (3)13 (8)19 (7)29 (7)44 (5)60 (10)15/15
PSA-CMA-ESwRS Nishida 3.4 (4)4.0 (4)7.4 (7)13 (6)18 (8)29 (7)40 (7)15/15

Δ fopt
f2, 2-D		 1e1
16		 1e0
19		 1e-1
25		 1e-2
25		 1e-3
26		 1e-5
28		 1e-7
29		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.2 (0.8)2.5 (0.8)2.1 (0.4)★2.3 (0.3)2.3 (0.3)2.5 (0.2)2.6 (0.3)15/15
uBBDE-N Vodopija 51 (21)70 (17)72 (24)94 (18)112 (17)134 (21)173 (21)15/15
uBBDE-best Vodopija 14 (4)16 (5)15 (3)18 (3)20 (3)23 (3)27 (4)15/15
uBBDE-ttb Vodopija 24 (15)33 (8)31 (8)38 (4)44 (5)52 (7)59 (4)15/15
uBBDE Vodopija 59 (30)79 (17)80 (10)100 (18)119 (12)142 (16)174 (16)15/15
uDE-best Vodopija 15 (6)18 (4)17 (3)20 (4)23 (3)27 (5)32 (5)15/15
uDE-rand Vodopija 26 (11)28 (8)28 (6)34 (7)37 (8)46 (6)54 (5)15/15
uDE-ttb Vodopija 15 (7)20 (4)21 (3)23 (3)26 (3)32 (4)38 (4)15/15
BBDE-N Vodopija 27 (13)38 (16)41 (11)62 (16)78 (18)110 (14)140 (24)15/15
BBDE-best Vodopija 10 (3)13 (6)14 (3)16 (3)18 (3)22 (2)27 (2)15/15
BBDE-ttb Vodopija 21 (15)33 (16)36 (11)55 (14)65 (12)90 (25)124 (32)15/15
BBDE Vodopija 30 (13)41 (13)47 (12)59 (11)80 (16)111 (26)142 (26)15/15
BFGS-M-17 Blelly 3.0 (2)4.4 (3)4.4 (2)5.3 (2)6.8 (4)11 (12)24 (29)14/15
BFGS-P-09 Blelly 4.8 (1)4.4 (1)3.6 (2)3.9 (2)4.0 (2)4.1 (2)4.5 (2)15/15
BFGS-P-Instances Blelly 4.2 (1)3.8 (0.9)3.0 (0.6)3.2 (0.7)3.3 (0.7)3.5 (0.9)3.8 (1)15/15
BFGS-P-StPt Blelly 4.1 (2)3.7 (1)3.1 (1)3.2 (1)3.4 (1)3.4 (1)3.8 (1)15/15
BFGS-P-range Blelly 4.1 (1)3.7 (1)3.2 (1.0)3.5 (1.0)3.5 (0.8)3.6 (1)4.0 (2)15/15
CMAES-APOP-Var1 Nguyen 10 (10)16 (10)16 (6)18 (3)19 (3)19 (3)21 (3)15/15
CMAES-APOP-Var2 Nguyen 13 (8)18 (8)17 (3)18 (3)18 (3)20 (3)21 (2)15/15
CMAES-APOP-Var3 Nguyen 12 (11)18 (9)18 (4)19 (4)20 (4)21 (4)22 (4)15/15
DE-best Vodopija 12 (4)15 (3)14 (2)18 (3)21 (3)25 (2)31 (4)15/15
DE-rand Vodopija 19 (6)21 (4)23 (5)29 (5)34 (7)41 (5)50 (6)15/15
DE-ttb Vodopija 13 (4)18 (4)17 (5)23 (3)25 (1)31 (2)36 (2)15/15
PSA-CMA-ES Nishida 15 (8)19 (6)17 (3)19 (4)21 (3)23 (3)26 (3)15/15
PSA-CMA-ESwRS Nishida 15 (12)21 (8)18 (3)19 (3)20 (3)21 (3)23 (3)15/15

Δ fopt
f3, 2-D		 1e1
15		 1e0
271		 1e-1
445		 1e-2
446		 1e-3
450		 1e-5
454		 1e-7
464		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.6 (3)0.58 (0.5)1.3 (1)1.8 (2)1.8 (2)1.8 (3)1.8 (2)7/15
uBBDE-N Vodopija 8.4 (8)5.5 (3)6.6 (3)10 (3)13 (4)19 (3)22 (3)15/15
uBBDE-best Vodopija 5.4 (5)2.0 (0.9)6.9 (7)7.0 (7)7.1 (7)7.4 (7)7.5 (7)15/15
uBBDE-ttb Vodopija 4.4 (3)3.3 (2)2.9 (1)4.8 (1)5.6 (1)6.9 (1)7.8 (1)15/15
uBBDE Vodopija 10 (13)5.8 (4)7.7 (2)10 (2)13 (2)18 (3)22 (2)15/15
uDE-best Vodopija 4.1 (4)1.4 (0.9)1.8 (2)2.2 (2)2.3 (2)2.7 (2)2.9 (2)15/15
uDE-rand Vodopija 4.9 (5)2.2 (1)2.2 (0.7)2.9 (0.9)3.1 (0.8)3.8 (0.8)4.2 (0.8)15/15
uDE-ttb Vodopija 4.3 (4)1.7 (0.9)1.9 (0.5)2.4 (1.0)3.0 (0.9)3.9 (0.7)4.5 (0.9)15/15
BBDE-N Vodopija 6.2 (6)4.1 (4)5.5 (2)8.4 (2)11 (3)17 (2)20 (1)15/15
BBDE-best Vodopija 4.5 (3)1.5 (0.7)4.3 (7)4.4 (6)4.6 (6)4.9 (6)5.0 (6)15/15
BBDE-ttb Vodopija 5.6 (5)4.4 (4)4.5 (3)5.3 (2)7.5 (2)11 (2)13 (2)15/15
BBDE Vodopija 6.9 (8)5.9 (5)6.9 (3)9.5 (3)13 (2)18 (2)22 (3)15/15
BFGS-M-17 Blelly 11 (11)7.0 (5)18 (15)18 (19)18 (21)18 (14)18 (25)7/15
BFGS-P-09 Blelly 16 (20)7.1 (8)15 (14)15 (14)15 (11)15 (14)15 (20)11/15
BFGS-P-Instances Blelly 26 (20)7.0 (8)22 (13)22 (29)22 (36)22 (23)21 (19)9/15
BFGS-P-StPt Blelly 15 (23)10 (9)45 (51)45 (52)45 (81)44 (35)43 (49)5/15
BFGS-P-range Blelly 18 (19)3.8 (4)16 (21)16 (22)16 (19)15 (19)15 (21)11/15
CMAES-APOP-Var1 Nguyen 2.5 (2)2.6 (3)5.7 (8)6.9 (9)9.0 (10)10 (10)10 (10)15/15
CMAES-APOP-Var2 Nguyen 3.1 (4)4.3 (3)8.4 (8)10 (9)11 (9)12 (9)13 (8)15/15
CMAES-APOP-Var3 Nguyen 2.0 (2)3.3 (3)6.6 (10)8.1 (10)9.0 (10)10 (10)10 (10)15/15
DE-best Vodopija 3.9 (2)1.3 (0.7)1.7 (2)1.9 (2)2.1 (2)2.4 (2)2.6 (2)15/15
DE-rand Vodopija 4.9 (3)2.1 (1)2.3 (0.4)2.9 (0.3)3.2 (0.4)3.8 (0.4)4.4 (0.3)15/15
DE-ttb Vodopija 5.5 (7)1.8 (1)1.9 (0.9)2.6 (0.9)3.2 (1)3.9 (0.9)4.4 (0.9)15/15
PSA-CMA-ES Nishida 3.8 (4)2.4 (4)3.0 (3)4.3 (5)4.4 (4)4.6 (4)4.8 (4)15/15
PSA-CMA-ESwRS Nishida 7.2 (4)3.6 (4)7.6 (11)9.0 (13)9.2 (13)9.4 (12)9.4 (12)15/15

Δ fopt
f4, 2-D		 1e1
22		 1e0
344		 1e-1
459		 1e-2
496		 1e-3
523		 1e-5
544		 1e-7
566		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.4 (2)1.8 (2)15 (19)14 (12)14 (22)13 (12)13 (11)1/15
uBBDE-N Vodopija 8.7 (7)5.5 (4)8.7 (4)11 (3)14 (3)18 (4)21 (4)15/15
uBBDE-best Vodopija 5.0 (4)3.1 (3)7.2 (9)6.9 (9)6.7 (8)6.7 (8)6.8 (8)15/15
uBBDE-ttb Vodopija 6.3 (5)2.7 (1)15 (2)15 (2)15 (2)16 (2)16 (2)15/15
uBBDE Vodopija 11 (10)7.1 (2)8.1 (3)11 (4)15 (4)20 (3)24 (3)15/15
uDE-best Vodopija 4.2 (3)1.2 (0.6)1.7 (2)1.8 (1)1.9 (1)2.2 (1)2.5 (1)15/15
uDE-rand Vodopija 4.9 (4)2.5 (1)2.7 (0.7)2.9 (0.5)3.1 (0.6)3.5 (0.5)4.0 (0.6)15/15
uDE-ttb Vodopija 4.7 (3)1.6 (0.6)2.0 (0.5)2.3 (0.5)2.7 (0.5)3.2 (0.5)3.6 (0.5)15/15
BBDE-N Vodopija 5.0 (4)4.2 (4)7.4 (3)11 (2)13 (3)18 (2)22 (4)15/15
BBDE-best Vodopija 4.6 (4)2.7 (4)7.2 (12)6.9 (11)6.7 (10)6.8 (10)6.8 (10)15/15
BBDE-ttb Vodopija 4.5 (5)4.3 (2)5.2 (1)6.1 (1)7.0 (2)9.5 (1)11 (2)15/15
BBDE Vodopija 6.5 (6)5.2 (4)7.9 (2)12 (1)14 (2)18 (3)21 (3)15/15
BFGS-M-17 Blelly 14 (18)3.9 (4)25 (31)24 (40)22 (19)22 (23)21 (28)4/15
BFGS-P-09 Blelly 20 (31)13 (11)42 (46)38 (46)37 (36)35 (31)34 (43)6/15
BFGS-P-Instances Blelly 23 (19)16 (15)41 (48)38 (33)36 (39)35 (48)33 (49)6/15
BFGS-P-StPt Blelly 7.7 (15)13 (14)41 (42)38 (43)36 (38)35 (20)34 (29)6/15
BFGS-P-range Blelly 13 (10)7.2 (8)20 (24)18 (18)17 (24)17 (17)16 (21)9/15
CMAES-APOP-Var1 Nguyen 1.9 (1)6.6 (10)55 (65)82 (83)89 (85)89 (83)88 (81)15/15
CMAES-APOP-Var2 Nguyen 2.0 (2)10 (12)41 (44)64 (46)70 (45)72 (45)71 (45)15/15
CMAES-APOP-Var3 Nguyen 1.7 (1.0)11 (15)70 (67)88 (104)96 (101)97 (98)96 (95)15/15
DE-best Vodopija 4.8 (3)2.0 (2)3.3 (2)3.2 (2)3.2 (2)3.5 (2)3.7 (2)15/15
DE-rand Vodopija 5.5 (4)2.3 (1)2.6 (0.6)2.8 (0.5)3.1 (0.5)3.6 (0.6)4.0 (0.4)15/15
DE-ttb Vodopija 3.9 (4)1.7 (0.9)1.9 (0.9)2.5 (0.7)2.7 (0.5)3.3 (0.8)3.8 (1)15/15
PSA-CMA-ES Nishida 2.8 (2)7.0 (9)51 (51)78 (89)81 (84)78 (81)75 (78)15/15
PSA-CMA-ESwRS Nishida 2.4 (2)4.7 (3)59 (65)57 (59)58 (56)56 (54)54 (52)15/15

Δ fopt
f5, 2-D		 1e1
4.0		 1e0
4.0		 1e-1
4.0		 1e-2
4.0		 1e-3
4.0		 1e-5
4.0		 1e-7
4.0		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.9 (0.9)3.6 (2)3.8 (2)3.8 (2)3.8 (2)3.8 (2)3.8 (2)15/15
uBBDE-N Vodopija 4.1 (5)10 (2)11 (5)11 (5)11 (5)11 (5)11 (5)15/15
uBBDE-best Vodopija 4.4 (4)9.4 (2)9.4 (2)9.4 (2)9.4 (2)9.4 (2)9.4 (2)15/15
uBBDE-ttb Vodopija 2.9 (3)8.0 (0.9)8.4 (0.9)8.4 (0.9)8.4 (0.9)8.4 (0.9)8.4 (0.9)15/15
uBBDE Vodopija 5.0 (4)11 (3)11 (4)11 (4)11 (4)11 (4)11 (4)15/15
uDE-best Vodopija 4.0 (4)10 (2)10 (2)10 (2)10 (2)10 (2)10 (2)15/15
uDE-rand Vodopija 3.8 (3)14 (6)14 (6)14 (6)14 (6)14 (6)14 (6)15/15
uDE-ttb Vodopija 3.7 (4)10 (3)10 (4)11 (4)11 (4)11 (4)11 (4)15/15
BBDE-N Vodopija 5.8 (7)118 (65)383 (110)783 (158)1129 (162)1998 (183)3031 (184)15/15
BBDE-best Vodopija 6.5 (4)46 (26)95 (30)155 (34)207 (48)334 (29)443 (41)15/15
BBDE-ttb Vodopija 5.0 (4)70 (34)198 (46)358 (71)576 (88)1064 (136)1565 (191)15/15
BBDE Vodopija 5.2 (3)127 (92)418 (94)847 (169)1258 (184)2172 (210)3131 (346)15/15
BFGS-M-17 Blelly 1.8 (0)3.0 (0.4)3.1 (0)3.1 (0)3.1 (0)3.1 (0)3.1 (0)15/15
BFGS-P-09 Blelly 1.4 (0)2.8 (2)3.2 (1)3.3 (1)3.3 (1)3.3 (1)3.3 (1)15/15
BFGS-P-Instances Blelly 1.5 (0)3.0 (2)3.2 (2)3.2 (2)3.2 (2)3.2 (2)3.2 (2)15/15
BFGS-P-StPt Blelly 1.5 (0)3.5 (0)3.5 (0)3.5 (0)3.5 (0)3.5 (0)3.5 (0)15/15
BFGS-P-range Blelly 1.5 (0)3.5 (1)3.8 (0.5)3.8 (0.5)3.8 (0.5)3.8 (0.5)3.8 (0.5)15/15
CMAES-APOP-Var1 Nguyen 3.9 (2)8.9 (4)9.4 (4)9.4 (4)9.4 (4)9.4 (4)9.4 (4)15/15
CMAES-APOP-Var2 Nguyen 2.9 (0.9)5.8 (2)6.1 (2)6.1 (2)6.1 (2)6.1 (2)6.1 (2)15/15
CMAES-APOP-Var3 Nguyen 4.3 (2)6.3 (3)7.2 (3)7.2 (3)7.2 (3)7.2 (3)7.2 (3)15/15
DE-best Vodopija 4.5 (4)35 (13)100 (23)158 (26)225 (23)400 (28)515 (48)15/15
DE-rand Vodopija 6.1 (5)76 (34)179 (53)290 (26)385 (43)595 (49)790 (78)15/15
DE-ttb Vodopija 3.6 (2)51 (20)115 (21)171 (23)240 (26)393 (27)528 (42)15/15
PSA-CMA-ES Nishida 3.0 (2)6.9 (4)7.2 (4)7.4 (4)7.4 (4)7.4 (4)7.4 (4)15/15
PSA-CMA-ESwRS Nishida 3.3 (3)6.8 (4)7.5 (4)7.5 (4)7.5 (4)7.5 (4)7.5 (4)15/15

Δ fopt
f6, 2-D		 1e1
13		 1e0
23		 1e-1
41		 1e-2
54		 1e-3
67		 1e-5
95		 1e-7
124		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.7 (3)3.9 (3)3.2 (2)3.4 (2)3.5 (2)3.9 (1)5.4 (4)4/15
uBBDE-N Vodopija 3.3 (5)15 (24)26 (16)34 (14)38 (9)48 (7)51 (8)15/15
uBBDE-best Vodopija 3.1 (3)6.7 (2)5.5 (2)7.1 (1)7.6 (1)7.4 (1)7.6 (0.9)15/15
uBBDE-ttb Vodopija 4.7 (8)14 (10)13 (5)14 (4)16 (4)18 (2)18 (2)15/15
uBBDE Vodopija 3.4 (6)27 (21)31 (9)36 (17)45 (7)49 (8)52 (9)15/15
uDE-best Vodopija 3.1 (4)6.0 (4)6.9 (3)8.8 (3)9.4 (3)10 (2)10 (2)15/15
uDE-rand Vodopija 2.9 (3)13 (8)13 (5)15 (4)16 (3)17 (3)17 (3)15/15
uDE-ttb Vodopija 1.8 (2)6.2 (3)7.0 (2)8.6 (2)10 (3)11 (1)11 (2)15/15
BBDE-N Vodopija 3.5 (5)10 (6)19 (6)25 (9)26 (7)37 (4)42 (6)15/15
BBDE-best Vodopija 2.7 (2)4.0 (3)4.3 (1)6.3 (1)6.4 (2)6.8 (1)7.2 (1)15/15
BBDE-ttb Vodopija 2.1 (3)7.0 (4)10 (5)13 (4)17 (3)21 (5)25 (3)15/15
BBDE Vodopija 2.4 (3)8.9 (4)15 (6)26 (5)31 (7)42 (4)44 (4)15/15
BFGS-M-17 Blelly 2.7 (4)3.2 (3)2.4 (1)2.0 (0.6)1.9 (1)★3.4 (3)4.4 (7)15/15
BFGS-P-09 Blelly 7.5 (5)6.3 (3)4.7 (2)4.1 (2)3.6 (2)3.3 (1.0)2.9 (0.9)15/15
BFGS-P-Instances Blelly 5.8 (6)5.8 (3)4.7 (2)4.3 (2)4.0 (1)3.5 (1)3.3 (1)15/15
BFGS-P-StPt Blelly 6.6 (7)5.8 (4)4.6 (2)3.7 (1)3.2 (1)2.7 (0.5)2.5 (0.7)15/15
BFGS-P-range Blelly 6.9 (7)5.9 (5)4.2 (2)3.6 (2)3.4 (1)3.0 (0.9)2.9 (1)15/15
CMAES-APOP-Var1 Nguyen 1.5 (1)3.1 (2)3.2 (2)3.8 (1)3.9 (1)3.9 (1)4.1 (0.7)15/15
CMAES-APOP-Var2 Nguyen 1.8 (2)2.9 (2)2.9 (2)3.9 (1)3.7 (1)4.1 (0.6)4.0 (0.6)15/15
CMAES-APOP-Var3 Nguyen 2.3 (2)3.6 (2)3.4 (2)3.9 (2)3.9 (1)3.8 (0.7)3.9 (0.8)15/15
DE-best Vodopija 1.5 (2)4.2 (3)5.9 (2)7.5 (3)8.3 (3)9.3 (1)10 (1)15/15
DE-rand Vodopija 3.0 (3)5.8 (4)12 (2)13 (4)14 (3)15 (2)16 (2)15/15
DE-ttb Vodopija 2.4 (2)4.8 (3)6.3 (3)7.0 (2)8.9 (3)10 (1)11 (1)15/15
PSA-CMA-ES Nishida 2.3 (4)4.8 (6)6.2 (4)6.5 (4)7.7 (3)8.5 (2)8.9 (1)15/15
PSA-CMA-ESwRS Nishida 2.3 (3)3.6 (2)3.8 (1)3.9 (0.9)4.1 (0.9)4.2 (0.7)4.4 (0.4)15/15

Δ fopt
f7, 2-D		 1e1
3.0		 1e0
21		 1e-1
60		 1e-2
193		 1e-3
217		 1e-5
217		 1e-7
241		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 3.2 (2)2.2 (4)1.3 (2)0.46 (0.5)0.52 (0.5)0.52 (0.5)0.58 (0.5)15/15
uBBDE-N Vodopija 3.5 (6)5.7 (5)7.4 (5)4.3 (2)4.6 (2)4.6 (2)7.0 (2)15/15
uBBDE-best Vodopija 6.0 (7)3.0 (3)2.9 (2)1.3 (0.4)1.3 (0.3)1.3 (0.3)1.4 (0.4)15/15
uBBDE-ttb Vodopija 3.2 (3)4.0 (3)4.0 (2)2.1 (1.0)2.4 (1)2.4 (1)3.0 (0.8)15/15
uBBDE Vodopija 4.7 (3)7.3 (8)10 (4)4.9 (2)5.4 (1)5.4 (1)7.4 (3)15/15
uDE-best Vodopija 5.4 (10)3.6 (3)2.8 (1)1.4 (0.7)1.4 (0.5)1.4 (0.5)1.6 (0.5)15/15
uDE-rand Vodopija 6.2 (10)4.7 (4)4.6 (2)2.4 (1)2.7 (1)2.7 (1)3.0 (1.0)15/15
uDE-ttb Vodopija 2.2 (2)3.4 (3)3.7 (1)1.7 (0.6)1.7 (0.4)1.7 (0.4)2.1 (0.5)15/15
BBDE-N Vodopija 5.4 (10)3.1 (3)5.5 (3)3.0 (1)3.7 (2)3.7 (2)5.0 (2)15/15
BBDE-best Vodopija 4.6 (5)2.9 (3)2.5 (2)1.1 (0.6)1.3 (0.6)1.3 (0.6)1.4 (0.6)15/15
BBDE-ttb Vodopija 2.4 (2)3.9 (4)4.4 (2)2.6 (1)3.5 (1)3.5 (1)4.8 (2)15/15
BBDE Vodopija 6.2 (6)4.9 (5)5.7 (4)3.6 (2)4.2 (2)4.2 (2)5.5 (2)15/15
BFGS-M-17 Blelly 19 (16)19 (19)72 (66)∞∞∞∞3030/15
BFGS-P-09 Blelly 24 (22)45 (59)∞∞∞∞∞5000/15
BFGS-P-Instances Blelly 19 (27)26 (26)∞∞∞∞∞5000/15
BFGS-P-StPt Blelly 11 (22)18 (24)∞∞∞∞∞5000/15
BFGS-P-range Blelly 16 (19)18 (19)124 (165)∞∞∞∞5000/15
CMAES-APOP-Var1 Nguyen 3.0 (3)2.1 (2)2.6 (2)1.2 (1)1.3 (1)1.3 (1)1.7 (1)15/15
CMAES-APOP-Var2 Nguyen 3.1 (3)2.2 (2)3.0 (3)1.4 (1.0)1.5 (1)1.5 (1)1.6 (1)15/15
CMAES-APOP-Var3 Nguyen 3.4 (4)2.2 (2)2.5 (3)1.3 (1)1.5 (1)1.5 (1)1.8 (1.0)15/15
DE-best Vodopija 5.0 (6)3.5 (2)3.2 (2)1.5 (0.5)1.6 (0.4)1.6 (0.4)1.8 (0.5)15/15
DE-rand Vodopija 2.5 (2)4.0 (4)4.3 (3)2.1 (1)2.5 (0.6)2.5 (0.6)2.9 (0.9)15/15
DE-ttb Vodopija 3.5 (2)3.3 (2)2.7 (2)1.3 (0.8)1.6 (0.7)1.6 (0.7)2.1 (0.5)15/15
PSA-CMA-ES Nishida 4.0 (4)2.7 (2)2.5 (1)1.3 (0.8)1.3 (0.6)1.3 (0.6)1.2 (0.5)15/15
PSA-CMA-ESwRS Nishida 4.4 (5)3.1 (3)3.6 (3)1.7 (2)1.7 (1)1.7 (1)1.5 (1)15/15

Δ fopt
f8, 2-D		 1e1
5.0		 1e0
12		 1e-1
37		 1e-2
46		 1e-3
86		 1e-5
94		 1e-7
112		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 3.1 (2)3.2 (2)1.8 (0.9)1.7 (0.7)1.0 (0.4)1.0 (0.4)0.95 (0.3)15/15
uBBDE-N Vodopija 5.3 (8)28 (24)29 (27)50 (32)47 (17)73 (20)83 (12)15/15
uBBDE-best Vodopija 6.3 (4)12 (10)7.5 (4)8.0 (4)4.9 (2)5.8 (2)5.9 (1)15/15
uBBDE-ttb Vodopija 8.1 (13)13 (12)14 (10)18 (14)14 (6)18 (4)19 (5)15/15
uBBDE Vodopija 12 (13)36 (27)35 (22)55 (25)55 (25)84 (19)96 (20)15/15
uDE-best Vodopija 7.9 (10)13 (12)6.6 (6)8.8 (4)5.5 (2)7.4 (2)8.3 (2)15/15
uDE-rand Vodopija 7.8 (7)20 (12)17 (13)22 (9)15 (4)19 (4)19 (4)15/15
uDE-ttb Vodopija 11 (9)11 (11)10 (4)12 (5)8.6 (3)12 (2)13 (2)15/15
BBDE-N Vodopija 8.0 (8)18 (16)16 (10)26 (11)29 (16)50 (11)61 (13)15/15
BBDE-best Vodopija 8.7 (6)12 (10)6.7 (5)8.0 (3)4.9 (1)5.8 (1)6.2 (1.0)15/15
BBDE-ttb Vodopija 7.9 (6)10 (12)14 (8)17 (7)15 (4)27 (7)35 (6)15/15
BBDE Vodopija 5.3 (6)18 (9)17 (8)36 (25)31 (10)52 (14)61 (13)15/15
BFGS-M-17 Blelly 3.8 (4)4.0 (4)2.0 (2)2.0 (1)1.2 (0.6)1.4 (0.7)1.7 (1)15/15
BFGS-P-09 Blelly 15 (17)12 (12)4.8 (4)4.4 (3)2.5 (2)2.4 (1)2.0 (1)15/15
BFGS-P-Instances Blelly 12 (12)12 (9)5.1 (2)4.5 (2)2.5 (1.0)2.4 (0.9)2.1 (0.8)15/15
BFGS-P-StPt Blelly 4.3 (7)5.4 (7)2.4 (3)2.5 (2)1.5 (1)1.5 (1)1.3 (1)15/15
BFGS-P-range Blelly 8.8 (7)10 (6)4.2 (3)3.9 (2)2.2 (1.0)2.2 (0.9)1.9 (0.8)15/15
CMAES-APOP-Var1 Nguyen 3.6 (3)7.1 (12)5.3 (6)6.6 (5)4.4 (2)4.9 (2)4.6 (1)15/15
CMAES-APOP-Var2 Nguyen 3.0 (4)4.1 (3)7.4 (6)7.9 (5)5.0 (3)5.5 (2)5.2 (2)15/15
CMAES-APOP-Var3 Nguyen 3.6 (4)3.4 (4)5.1 (3)7.2 (3)4.5 (2)4.9 (2)4.6 (2)15/15
DE-best Vodopija 7.3 (7)11 (8)6.8 (4)8.3 (4)5.6 (2)7.8 (2)8.0 (2)15/15
DE-rand Vodopija 6.3 (6)9.4 (9)11 (8)15 (6)12 (3)15 (3)16 (2)15/15
DE-ttb Vodopija 8.3 (7)10 (10)7.4 (4)11 (5)7.8 (1)11 (2)11 (0.9)15/15
PSA-CMA-ES Nishida 9.5 (10)14 (12)10 (9)14 (7)8.9 (3)10 (3)9.1 (2)15/15
PSA-CMA-ESwRS Nishida 13 (7)19 (27)11 (11)12 (9)7.0 (6)7.2 (5)6.6 (4)15/15

Δ fopt
f9, 2-D		 1e1
1		 1e0
18		 1e-1
30		 1e-2
44		 1e-3
68		 1e-5
81		 1e-7
92		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 14 (10)1.8 (1.0)1.9 (0.9)1.6 (0.5)1.1 (0.4)1.1 (0.3)1.1 (0.3)15/15
uBBDE-N Vodopija 34 (28)15 (14)23 (16)41 (30)45 (18)79 (24)91 (20)15/15
uBBDE-best Vodopija 35 (36)6.6 (5)7.5 (4)8.0 (2)6.3 (1)6.8 (1)7.7 (0.7)15/15
uBBDE-ttb Vodopija 33 (38)9.2 (10)15 (9)19 (6)17 (7)20 (3)22 (6)15/15
uBBDE Vodopija 43 (45)19 (14)38 (44)71 (48)79 (31)104 (29)116 (27)15/15
uDE-best Vodopija 37 (48)7.8 (5)10 (6)10 (5)8.1 (2)9.4 (2)11 (2)15/15
uDE-rand Vodopija 48 (58)11 (9)15 (8)16 (9)16 (7)19 (5)21 (4)15/15
uDE-ttb Vodopija 35 (26)6.4 (5)7.3 (5)10 (4)11 (2)12 (2)14 (1)15/15
BBDE-N Vodopija 26 (31)9.1 (6)19 (19)40 (16)38 (15)62 (13)75 (18)15/15
BBDE-best Vodopija 36 (26)4.1 (3)5.8 (4)6.0 (2)5.1 (2)6.3 (1)7.0 (1)15/15
BBDE-ttb Vodopija 27 (30)10 (10)15 (9)21 (10)23 (9)34 (6)41 (6)15/15
BBDE Vodopija 32 (25)14 (13)25 (18)41 (24)43 (15)61 (17)79 (15)15/15
BFGS-M-17 Blelly 21 (14)3.0 (2)2.7 (2)2.2 (1)1.5 (0.7)1.4 (0.6)1.7 (1)15/15
BFGS-P-09 Blelly 42 (60)6.5 (5)5.3 (3)4.1 (2)2.8 (1)2.5 (1)2.2 (1)15/15
BFGS-P-Instances Blelly 49 (58)5.9 (6)4.8 (4)3.7 (3)2.6 (2)2.3 (1)2.1 (1)15/15
BFGS-P-StPt Blelly 1 (0)1 (0)1 (0)1.4 (0)1.1 (0)1.1 (0.0)1.0 (0)15/15
BFGS-P-range Blelly 29 (28)4.9 (4)4.5 (2)3.6 (2)2.5 (1)2.2 (0.9)2.0 (0.8)15/15
CMAES-APOP-Var1 Nguyen 1 (0)4.4 (5)6.8 (7)8.0 (6)5.9 (4)5.8 (3)6.0 (3)15/15
CMAES-APOP-Var2 Nguyen 1 (0)2.5 (2)5.7 (4)8.1 (2)6.0 (2)6.0 (1)6.0 (1)15/15
CMAES-APOP-Var3 Nguyen 1 (0)2.6 (3)6.2 (6)7.1 (5)5.6 (3)5.7 (2)5.8 (2)15/15
DE-best Vodopija 48 (28)6.0 (4)7.9 (3)8.3 (2)6.9 (2)8.3 (1)10 (1)15/15
DE-rand Vodopija 44 (42)7.7 (5)16 (11)20 (12)16 (6)18 (4)22 (4)15/15
DE-ttb Vodopija 36 (28)6.8 (4)8.9 (6)8.8 (5)10 (2)12 (2)13 (2)15/15
PSA-CMA-ES Nishida 26 (28)6.1 (4)13 (9)13 (4)10 (3)10 (2)10 (2)15/15
PSA-CMA-ESwRS Nishida 29 (26)5.3 (4)9.1 (8)9.4 (4)7.0 (3)6.8 (2)6.8 (2)15/15

Δ fopt
f10, 2-D		 1e1
30		 1e0
46		 1e-1
54		 1e-2
61		 1e-3
68		 1e-5
82		 1e-7
98		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1 (0.2)0.89 (0.3)0.92 (0.2)0.90 (0.1)0.88 (0.1)↑10.82 (0.1)↑00.77 (0.1)↑015/15
uBBDE-N Vodopija 25 (15)29 (11)34 (8)38 (7)42 (7)47 (3)51 (5)15/15
uBBDE-best Vodopija 7.7 (3)6.9 (1)7.2 (2)7.4 (2)7.5 (1)7.9 (1)8.1 (1)15/15
uBBDE-ttb Vodopija 14 (5)13 (5)14 (3)16 (1)17 (1)18 (2)18 (2)15/15
uBBDE Vodopija 31 (22)34 (11)39 (11)45 (6)47 (8)51 (6)55 (4)15/15
uDE-best Vodopija 8.5 (5)7.6 (3)8.6 (2)10 (1)10 (2)11 (1)12 (1)15/15
uDE-rand Vodopija 15 (5)14 (5)16 (3)18 (3)20 (3)21 (3)22 (3)15/15
uDE-ttb Vodopija 10 (3)9.1 (3)11 (3)12 (3)13 (2)14 (2)14 (1)15/15
BBDE-N Vodopija 14 (7)17 (8)20 (8)27 (5)31 (8)41 (7)46 (6)15/15
BBDE-best Vodopija 8.0 (4)7.8 (2)7.6 (1)7.9 (1)7.9 (1)8.3 (0.8)8.2 (0.6)15/15
BBDE-ttb Vodopija 16 (12)15 (7)21 (4)26 (5)27 (6)36 (6)38 (4)15/15
BBDE Vodopija 17 (13)19 (9)26 (6)30 (9)38 (6)44 (6)45 (9)15/15
BFGS-M-17 Blelly 1.5 (1)2.2 (2)2.4 (1)2.2 (1)2.2 (1)3.5 (3)10 (9)11/15
BFGS-P-09 Blelly 2.5 (2)1.7 (1)1.6 (1)1.5 (1)1.4 (1)1.4 (1.0)1.3 (0.8)15/15
BFGS-P-Instances Blelly 2.6 (1)1.9 (0.9)1.8 (0.9)1.7 (0.7)1.7 (0.6)1.5 (0.5)1.4 (0.4)15/15
BFGS-P-StPt Blelly 1.9 (1)1.4 (0.8)1.2 (0.7)1.1 (0.6)1.1 (0.6)0.96 (0.5)0.87 (0.4)15/15
BFGS-P-range Blelly 1.8 (0.8)1.3 (0.5)1.1 (0.5)1.1 (0.4)1.1 (0.4)0.98 (0.3)0.93 (0.2)15/15
CMAES-APOP-Var1 Nguyen 4.9 (5)6.9 (5)6.6 (4)7.5 (2)7.2 (1)6.6 (1)6.3 (0.9)15/15
CMAES-APOP-Var2 Nguyen 6.9 (5)7.2 (4)7.8 (3)7.8 (2)7.5 (1)6.9 (1)6.3 (1)15/15
CMAES-APOP-Var3 Nguyen 7.2 (6)8.3 (4)8.3 (2)7.9 (2)7.6 (2)6.9 (1)6.4 (1)15/15
DE-best Vodopija 9.5 (6)8.7 (3)9.2 (2)9.3 (2)10 (2)11 (1)12 (1)15/15
DE-rand Vodopija 10 (4)12 (5)15 (2)17 (2)17 (4)20 (3)20 (2)15/15
DE-ttb Vodopija 8.4 (4)9.1 (3)11 (1)11 (2)12 (2)13 (2)14 (2)15/15
PSA-CMA-ES Nishida 9.3 (4)8.6 (2)8.4 (2)8.3 (2)8.5 (1)8.3 (1)7.9 (1)15/15
PSA-CMA-ESwRS Nishida 8.1 (6)7.4 (4)7.5 (3)7.8 (2)7.5 (1)7.1 (1)6.7 (1)15/15

Δ fopt
f11, 2-D		 1e1
35		 1e0
45		 1e-1
50		 1e-2
62		 1e-3
67		 1e-5
81		 1e-7
97		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.91 (0.2)1.0 (0.3)1.1 (0.2)0.95 (0.1)0.95 (0.1)0.87 (0.1)↑10.80 (0.1)★↑015/15
uBBDE-N Vodopija 23 (13)30 (9)37 (14)39 (6)42 (5)49 (4)52 (7)15/15
uBBDE-best Vodopija 7.4 (2)7.4 (2)7.8 (2)7.4 (1)7.6 (1)8.0 (1.0)8.2 (0.9)15/15
uBBDE-ttb Vodopija 13 (4)14 (5)17 (3)15 (3)17 (2)18 (2)18 (2)15/15
uBBDE Vodopija 29 (15)35 (7)41 (5)41 (9)43 (6)49 (5)53 (6)15/15
uDE-best Vodopija 6.3 (4)7.7 (3)8.6 (3)9.1 (2)10 (2)10 (2)12 (2)15/15
uDE-rand Vodopija 12 (5)15 (3)17 (5)17 (5)19 (3)22 (2)22 (2)15/15
uDE-ttb Vodopija 8.6 (4)10 (2)12 (3)11 (1)13 (1)14 (2)14 (2)15/15
BBDE-N Vodopija 13 (8)18 (6)28 (6)31 (4)35 (4)43 (6)47 (6)15/15
BBDE-best Vodopija 6.2 (3)6.4 (2)7.3 (1)7.0 (1)7.8 (1)8.1 (1)8.1 (1)15/15
BBDE-ttb Vodopija 14 (7)19 (7)23 (7)26 (6)29 (8)36 (7)39 (7)15/15
BBDE Vodopija 16 (10)23 (12)30 (6)32 (5)38 (6)44 (5)49 (5)15/15
BFGS-M-17 Blelly 1.5 (1)1.7 (1)2.0 (1)1.9 (0.9)2.0 (0.8)2.6 (2)13 (12)14/15
BFGS-P-09 Blelly 2.0 (1)1.7 (0.8)1.7 (0.8)1.5 (0.7)1.4 (0.7)1.3 (0.5)1.2 (0.5)15/15
BFGS-P-Instances Blelly 2.6 (0.6)2.1 (0.4)2.0 (0.5)1.7 (0.4)1.7 (0.4)1.5 (0.3)1.4 (0.3)15/15
BFGS-P-StPt Blelly 2.6 (1)2.1 (0.9)2.1 (0.8)1.7 (0.6)1.7 (0.6)1.5 (0.5)1.3 (0.4)15/15
BFGS-P-range Blelly 2.0 (1.0)1.7 (0.7)1.6 (0.6)1.4 (0.5)1.4 (0.5)1.3 (0.4)1.2 (0.3)15/15
CMAES-APOP-Var1 Nguyen 5.8 (5)7.5 (4)8.8 (2)8.0 (1)7.9 (1)7.3 (1)6.6 (0.9)15/15
CMAES-APOP-Var2 Nguyen 5.7 (6)7.3 (4)8.0 (3)7.0 (2)7.1 (2)6.7 (2)6.2 (1)15/15
CMAES-APOP-Var3 Nguyen 5.4 (4)8.2 (3)9.0 (1)7.6 (1)7.6 (1)6.9 (1)6.5 (0.8)15/15
DE-best Vodopija 6.2 (3)7.3 (4)9.0 (3)9.5 (2)10 (1)11 (2)12 (1)15/15
DE-rand Vodopija 9.3 (6)12 (5)16 (4)16 (3)17 (4)20 (3)21 (3)15/15
DE-ttb Vodopija 9.2 (4)9.4 (2)11 (3)11 (2)11 (3)13 (1)14 (1)15/15
PSA-CMA-ES Nishida 7.0 (5)8.0 (4)9.0 (4)8.7 (1)9.0 (1)8.6 (1)8.2 (1)15/15
PSA-CMA-ESwRS Nishida 7.3 (4)7.2 (3)8.7 (2)7.6 (2)7.6 (1)7.0 (1)6.6 (0.9)15/15

Δ fopt
f12, 2-D		 1e1
35		 1e0
46		 1e-1
75		 1e-2
94		 1e-3
105		 1e-5
153		 1e-7
195		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.4 (0.5)1.7 (1)1.5 (1)1.5 (1)1.5 (1)1.4 (1)1.3 (0.9)11/15
uBBDE-N Vodopija 30 (16)35 (18)34 (8)38 (14)46 (16)49 (19)52 (20)15/15
uBBDE-best Vodopija 8.9 (4)12 (6)10 (6)9.4 (6)10 (5)8.6 (5)8.1 (5)15/15
uBBDE-ttb Vodopija 14 (7)18 (5)19 (12)22 (16)25 (20)30 (24)29 (25)15/15
uBBDE Vodopija 36 (23)51 (25)42 (14)38 (9)43 (18)43 (18)48 (17)15/15
uDE-best Vodopija 12 (7)15 (13)13 (16)13 (15)13 (13)12 (12)12 (11)15/15
uDE-rand Vodopija 14 (4)16 (4)14 (4)14 (4)14 (5)12 (4)12 (3)15/15
uDE-ttb Vodopija 8.9 (3)13 (7)14 (6)17 (9)18 (10)19 (12)18 (11)15/15
BBDE-N Vodopija 13 (8)19 (13)26 (15)41 (25)58 (30)64 (24)70 (27)15/15
BBDE-best Vodopija 8.5 (6)13 (11)12 (14)12 (14)13 (12)12 (11)11 (9)15/15
BBDE-ttb Vodopija 13 (10)18 (9)18 (8)22 (11)27 (9)35 (27)36 (27)15/15
BBDE Vodopija 18 (10)28 (15)30 (10)35 (19)48 (19)64 (59)75 (68)15/15
BFGS-M-17 Blelly 1.1 (1)2.9 (3)3.1 (4)4.8 (7)4.7 (6)12 (21)19 (21)10/15
BFGS-P-09 Blelly 17 (16)17 (15)13 (10)11 (9)10 (8)7.7 (6)6.5 (5)15/15
BFGS-P-Instances Blelly 14 (22)13 (20)9.0 (14)7.7 (12)7.1 (11)5.4 (8)4.5 (7)15/15
BFGS-P-StPt Blelly 11 (14)11 (15)8.3 (11)7.2 (9)6.7 (9)5.1 (7)4.4 (6)15/15
BFGS-P-range Blelly 14 (17)15 (16)11 (10)9.5 (9)8.8 (8)6.7 (6)5.7 (5)15/15
CMAES-APOP-Var1 Nguyen 7.0 (5)10 (9)10 (10)10 (11)10 (10)9.1 (14)8.1 (12)15/15
CMAES-APOP-Var2 Nguyen 4.7 (4)6.4 (4)5.2 (2)4.9 (1)4.9 (0.9)4.1 (0.6)4.0 (0.6)15/15
CMAES-APOP-Var3 Nguyen 4.4 (3)10 (8)9.4 (14)10 (15)10 (14)8.8 (15)8.0 (13)15/15
DE-best Vodopija 10 (13)16 (28)16 (23)17 (21)16 (19)15 (16)14 (14)15/15
DE-rand Vodopija 10 (6)17 (6)17 (4)17 (4)17 (4)16 (4)15 (4)15/15
DE-ttb Vodopija 7.4 (5)13 (4)11 (6)14 (13)16 (15)15 (16)15 (17)15/15
PSA-CMA-ES Nishida 15 (27)22 (47)17 (28)16 (23)16 (20)12 (14)10 (12)15/15
PSA-CMA-ESwRS Nishida 7.9 (6)13 (12)13 (11)13 (10)13 (9)11 (10)12 (27)15/15

Δ fopt
f13, 2-D		 1e1
23		 1e0
35		 1e-1
46		 1e-2
60		 1e-3
71		 1e-5
95		 1e-7
122		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.2 (0.7)1.1 (0.4)1.1 (0.3)★1.0 (0.2)★1.0 (0.2)★21.0 (0.2)★40.97 (0.1)★415/15
uBBDE-N Vodopija 8.2 (9)24 (8)32 (11)35 (7)38 (4)46 (5)52 (7)15/15
uBBDE-best Vodopija 4.7 (3)6.8 (3)7.7 (2)7.7 (1)8.4 (0.7)8.5 (0.8)8.6 (1)15/15
uBBDE-ttb Vodopija 7.9 (4)12 (3)13 (4)14 (3)16 (3)18 (2)18 (2)15/15
uBBDE Vodopija 11 (9)25 (10)34 (8)38 (8)44 (5)51 (6)54 (6)15/15
uDE-best Vodopija 5.7 (2)8.0 (3)10 (2)10 (2)11 (2)12 (1)12 (1)15/15
uDE-rand Vodopija 6.2 (4)13 (4)17 (5)17 (3)19 (3)21 (2)22 (2)15/15
uDE-ttb Vodopija 6.3 (4)10 (5)12 (2)12 (2)13 (2)14 (2)15 (0.8)15/15
BBDE-N Vodopija 9.3 (6)19 (6)28 (8)31 (8)37 (6)45 (6)50 (6)15/15
BBDE-best Vodopija 3.9 (2)6.2 (2)6.9 (2)7.0 (1)7.4 (2)8.1 (1)8.2 (1.0)15/15
BBDE-ttb Vodopija 7.2 (6)14 (8)22 (8)27 (4)31 (6)40 (7)45 (3)15/15
BBDE Vodopija 6.2 (7)19 (7)30 (5)33 (4)37 (8)46 (8)50 (6)15/15
BFGS-M-17 Blelly 5.6 (7)20 (21)39 (41)83 (104)167 (234)372 (359)1305 (1435)0/15
BFGS-P-09 Blelly 15 (14)38 (40)1212 (32)931 (23)790 (33)614 (64)948 (143)12/15
BFGS-P-Instances Blelly 5.8 (9)17 (27)55 (93)65 (92)77 (86)73 (60)110 (103)14/15
BFGS-P-StPt Blelly 7.5 (12)20 (31)16 (23)25 (38)24 (35)23 (28)1994 (3208)8/15
BFGS-P-range Blelly 11 (17)14 (22)21 (28)1344 (33)1145 (56)1973 (5846)1562 (4563)12/15
CMAES-APOP-Var1 Nguyen 2.7 (2)5.1 (5)5.8 (3)7.0 (2)7.0 (2)7.0 (1)6.9 (1)15/15
CMAES-APOP-Var2 Nguyen 2.6 (2)5.0 (4)6.7 (4)6.5 (2)6.6 (2)6.9 (1)6.7 (1)15/15
CMAES-APOP-Var3 Nguyen 3.0 (3)5.9 (4)6.6 (3)7.1 (2)6.9 (2)7.0 (1.0)7.2 (1)15/15
DE-best Vodopija 4.9 (3)8.3 (2)10 (1)10 (1)11 (1)11 (2)12 (2)15/15
DE-rand Vodopija 5.3 (4)13 (2)16 (3)16 (3)19 (3)21 (2)22 (2)15/15
DE-ttb Vodopija 4.2 (3)8.4 (3)10 (2)12 (2)13 (1)14 (1)14 (1)15/15
PSA-CMA-ES Nishida 3.7 (2)6.0 (2)7.4 (2)7.7 (1)7.8 (1)8.1 (1)8.3 (0.6)15/15
PSA-CMA-ESwRS Nishida 4.5 (4)6.4 (3)8.0 (3)7.1 (2)7.2 (2)7.3 (1)7.2 (1)15/15

Δ fopt
f14, 2-D		 1e1
1		 1e0
7.0		 1e-1
16		 1e-2
24		 1e-3
38		 1e-5
67		 1e-7
90		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.3 (1)1.7 (0.5)1.2 (0.5)1.3 (0.3)1.1 (0.2)1.0 (0.2)1.0 (0.2)15/15
uBBDE-N Vodopija 1.5 (0.5)6.6 (8)21 (16)36 (16)37 (10)43 (9)51 (6)15/15
uBBDE-best Vodopija 3.2 (4)3.6 (4)6.5 (5)7.4 (4)8.7 (2)8.5 (1)8.5 (1)15/15
uBBDE-ttb Vodopija 2.6 (2)4.2 (4)16 (9)20 (7)18 (6)17 (2)18 (2)15/15
uBBDE Vodopija 2.8 (4)4.4 (3)15 (14)34 (21)42 (7)48 (7)55 (4)15/15
uDE-best Vodopija 1.5 (0.5)2.5 (3)7.3 (3)10 (4)11 (3)10 (1)11 (2)15/15
uDE-rand Vodopija 2.6 (2)4.5 (4)13 (5)16 (4)17 (3)17 (4)20 (3)15/15
uDE-ttb Vodopija 2.2 (2)3.2 (4)11 (4)12 (5)11 (4)12 (3)14 (2)15/15
BBDE-N Vodopija 2.6 (2)5.4 (6)13 (9)22 (14)28 (11)36 (9)46 (4)15/15
BBDE-best Vodopija 2.3 (2)2.7 (3)5.0 (4)8.6 (3)8.6 (2)8.0 (1)8.0 (1)15/15
BBDE-ttb Vodopija 2.1 (1)3.3 (3)7.7 (6)21 (10)25 (5)29 (7)38 (5)15/15
BBDE Vodopija 2.4 (2)3.7 (3)12 (9)24 (16)31 (16)40 (9)48 (6)15/15
BFGS-M-17 Blelly 6.0 (4)4.2 (4)2.5 (2)2.2 (1)1.7 (0.6)1.3 (0.3)1.9 (2)15/15
BFGS-P-09 Blelly 4.6 (4)2.0 (1)1.7 (0.8)1.8 (0.8)1.6 (0.5)1.4 (0.2)1.9 (1)15/15
BFGS-P-Instances Blelly 6.4 (4)2.2 (0.9)1.6 (0.8)1.8 (0.8)1.5 (0.5)1.4 (0.1)4.1 (4)15/15
BFGS-P-StPt Blelly 2.8 (4)1.5 (2)1.2 (0.9)1.4 (0.3)1.4 (0.7)1.2 (0.3)1.5 (0.4)15/15
BFGS-P-range Blelly 7.0 (4)2.5 (0.9)1.6 (0.6)1.9 (0.6)1.7 (0.5)1.5 (0.3)3.1 (1)15/15
CMAES-APOP-Var1 Nguyen 1.9 (2)2.7 (2)3.1 (1)4.2 (2)4.8 (2)6.0 (3)6.9 (2)15/15
CMAES-APOP-Var2 Nguyen 2.1 (2)1.5 (1)2.8 (2)4.2 (2)5.0 (3)6.5 (2)7.0 (0.9)15/15
CMAES-APOP-Var3 Nguyen 2.5 (2)2.2 (2)2.8 (2)4.5 (2)4.6 (1)6.1 (2)6.9 (1)15/15
DE-best Vodopija 2.3 (1)2.7 (4)7.9 (6)9.5 (2)10 (2)10 (2)11 (1)15/15
DE-rand Vodopija 2.9 (2)4.5 (4)11 (8)16 (5)15 (3)17 (3)19 (2)15/15
DE-ttb Vodopija 1.7 (0.5)2.1 (3)7.8 (4)12 (2)11 (3)12 (1)13 (2)15/15
PSA-CMA-ES Nishida 3.3 (4)2.5 (3)4.9 (2)6.1 (2)6.4 (2)7.7 (2)8.3 (1)15/15
PSA-CMA-ESwRS Nishida 3.1 (3)2.8 (3)3.3 (2)4.9 (2)5.6 (3)6.2 (3)7.4 (2)15/15

Δ fopt
f15, 2-D		 1e1
37		 1e0
291		 1e-1
1033		 1e-2
1066		 1e-3
1113		 1e-5
1231		 1e-7
1412		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.52 (0.2)↑00.35 (0.4)★↑00.44 (0.4)0.50 (0.8)0.49 (0.4)0.45 (0.4)0.41 (0.5)9/15
uBBDE-N Vodopija 4.8 (5)6.1 (4)2.8 (2)4.3 (2)5.3 (1)7.4 (2)8.2 (1)15/15
uBBDE-best Vodopija 1.8 (1)2.9 (3)2.4 (3)2.4 (3)2.4 (3)2.3 (2)2.1 (2)15/15
uBBDE-ttb Vodopija 2.4 (2)2.6 (2)1.3 (0.6)2.0 (0.5)2.3 (0.6)2.5 (0.6)2.4 (0.4)15/15
uBBDE Vodopija 5.0 (5)6.2 (4)3.5 (2)5.3 (2)6.6 (2)8.0 (2)8.4 (2)15/15
uDE-best Vodopija 2.2 (2)2.1 (1)1.3 (1)1.4 (1)1.4 (1)1.4 (1)1.4 (1)15/15
uDE-rand Vodopija 2.4 (2)3.2 (2)1.5 (0.7)1.8 (0.5)2.0 (0.3)2.0 (0.3)2.0 (0.3)15/15
uDE-ttb Vodopija 1.9 (2)2.1 (0.7)0.98 (0.5)1.2 (0.4)1.4 (0.3)1.7 (0.4)1.7 (0.3)15/15
BBDE-N Vodopija 2.6 (3)3.7 (2)3.1 (1)4.5 (2)5.5 (1)7.1 (2)7.6 (1)15/15
BBDE-best Vodopija 1.4 (0.8)1.9 (2)1.9 (2)2.0 (2)1.9 (2)1.9 (2)1.7 (2)15/15
BBDE-ttb Vodopija 2.3 (2)4.3 (5)2.5 (2)3.0 (1)3.5 (1)4.3 (1)4.8 (1.0)15/15
BBDE Vodopija 3.2 (2)4.9 (4)2.9 (2)4.3 (2)5.4 (2)7.1 (2)8.0 (1)15/15
BFGS-M-17 Blelly 4.5 (4)2.8 (5)5.2 (6)5.0 (6)4.8 (5)4.4 (7)3.8 (3)9/15
BFGS-P-09 Blelly 9.4 (14)6.8 (8)6.0 (7)5.9 (6)5.6 (7)5.1 (6)4.5 (4)12/15
BFGS-P-Instances Blelly 13 (14)6.4 (4)7.5 (16)7.3 (10)7.0 (10)6.3 (5)5.5 (9)10/15
BFGS-P-StPt Blelly 8.4 (8)4.9 (5)10 (12)10 (14)9.2 (10)8.3 (9)7.3 (6)9/15
BFGS-P-range Blelly 6.6 (10)5.9 (7)7.7 (10)7.5 (17)7.2 (9)6.5 (8)5.7 (7)10/15
CMAES-APOP-Var1 Nguyen 0.98 (0.9)1.8 (2)1.6 (1)2.3 (2)2.5 (2)2.6 (2)2.5 (2)15/15
CMAES-APOP-Var2 Nguyen 2.2 (3)2.4 (2)1.8 (2)2.5 (2)3.0 (2)3.0 (2)2.9 (2)15/15
CMAES-APOP-Var3 Nguyen 1.1 (0.8)2.2 (2)1.5 (1)1.8 (1)1.9 (1)2.0 (1)1.9 (1)15/15
DE-best Vodopija 1.7 (1.0)1.7 (0.8)1.6 (2)1.7 (2)1.7 (2)1.7 (2)1.6 (1)15/15
DE-rand Vodopija 1.7 (1)3.5 (2)1.5 (0.4)1.7 (0.5)1.8 (0.4)1.9 (0.4)1.9 (0.3)15/15
DE-ttb Vodopija 1.5 (0.9)1.6 (0.8)1.0 (0.2)1.3 (0.4)1.5 (0.4)1.6 (0.4)1.6 (0.3)15/15
PSA-CMA-ES Nishida 1.5 (1)2.5 (3)1.9 (1)2.3 (1)2.3 (1)2.2 (1)2.0 (1)15/15
PSA-CMA-ESwRS Nishida 1.3 (1.0)2.0 (1)1.6 (1)1.8 (1.0)2.1 (2)2.0 (1)1.8 (1)15/15

Δ fopt
f16, 2-D		 1e1
9.0		 1e0
50		 1e-1
174		 1e-2
326		 1e-3
358		 1e-5
409		 1e-7
538		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 3.1 (5)4.6 (5)2.6 (3)1.4 (2)1.4 (1)1.2 (1)0.98 (0.9)9/15
uBBDE-N Vodopija 1.6 (3)8.7 (13)9.5 (10)24 (20)37 (14)63 (35)75 (33)15/15
uBBDE-best Vodopija 4.5 (7)5.1 (4)3.2 (1)2.9 (3)2.9 (2)3.2 (2)2.7 (2)15/15
uBBDE-ttb Vodopija 3.6 (5)8.6 (7)8.0 (6)8.1 (3)11 (4)15 (7)15 (7)15/15
uBBDE Vodopija 3.2 (5)11 (14)20 (12)22 (12)34 (20)68 (29)76 (29)15/15
uDE-best Vodopija 4.5 (6)3.9 (4)3.9 (1)2.5 (1.0)2.6 (0.9)2.9 (0.8)2.6 (0.7)15/15
uDE-rand Vodopija 4.7 (6)10 (13)7.6 (6)8.9 (4)10 (4)11 (4)10 (3)15/15
uDE-ttb Vodopija 3.3 (4)6.1 (6)6.8 (5)8.3 (5)11 (9)14 (14)14 (12)15/15
BBDE-N Vodopija 3.1 (2)5.0 (6)6.3 (4)11 (8)19 (13)43 (21)55 (18)15/15
BBDE-best Vodopija 3.9 (4)4.1 (3)2.6 (1)1.9 (0.6)1.9 (0.5)2.0 (0.6)1.8 (0.4)15/15
BBDE-ttb Vodopija 3.5 (3)5.5 (6)6.3 (6)7.1 (4)16 (10)27 (18)50 (50)14/15
BBDE Vodopija 2.7 (3)4.4 (4)7.9 (6)13 (11)25 (13)54 (26)66 (19)15/15
BFGS-M-17 Blelly 46 (41)59 (65)64 (69)317 (483)∞∞∞72630/15
BFGS-P-09 Blelly 589 (798)516 (814)918 (1059)637 (623)∞∞∞6e40/15
BFGS-P-Instances Blelly 189 (224)762 (955)1659 (1143)2866 (2446)∞∞∞7e40/15
BFGS-P-StPt Blelly 195 (249)925 (952)1562 (996)∞∞∞∞6e40/15
BFGS-P-range Blelly 408 (585)779 (685)823 (874)2792 (3433)∞∞∞6e40/15
CMAES-APOP-Var1 Nguyen 2.7 (2)5.2 (11)6.2 (6)4.7 (4)5.4 (9)5.9 (9)4.9 (7)15/15
CMAES-APOP-Var2 Nguyen 3.0 (3)5.5 (10)8.5 (7)11 (7)14 (29)20 (28)16 (22)15/15
CMAES-APOP-Var3 Nguyen 2.2 (3)6.5 (11)5.9 (9)19 (54)31 (74)30 (75)23 (58)15/15
DE-best Vodopija 2.7 (4)3.7 (3)2.3 (2)2.0 (0.6)2.1 (0.5)2.5 (0.4)2.2 (0.4)15/15
DE-rand Vodopija 3.7 (4)4.3 (5)7.2 (4)7.1 (3)8.4 (3)9.4 (2)8.1 (2)15/15
DE-ttb Vodopija 4.5 (5)5.5 (6)4.4 (3)5.8 (2)8.0 (4)11 (4)10 (5)15/15
PSA-CMA-ES Nishida 3.9 (3)7.2 (8)5.5 (7)6.9 (7)6.9 (7)6.3 (6)5.0 (4)15/15
PSA-CMA-ESwRS Nishida 4.7 (6)22 (52)7.1 (15)7.8 (8)8.9 (7)8.1 (7)6.3 (5)15/15

Δ fopt
f17, 2-D		 1e1
3.0		 1e0
61		 1e-1
133		 1e-2
275		 1e-3
396		 1e-5
1086		 1e-7
1657		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.3 (1)5.5 (5)3.8 (4)2.5 (2)2.6 (3)1.2 (1.0)1.0 (0.9)4/15
uBBDE-N Vodopija 2.2 (2)3.9 (3)9.2 (5)10 (3)13 (3)10 (2)10 (1)15/15
uBBDE-best Vodopija 2.1 (3)1.6 (0.7)2.1 (0.8)1.7 (0.4)1.7 (0.3)1.4 (0.7)1.1 (0.5)15/15
uBBDE-ttb Vodopija 2.4 (2)2.1 (2)4.7 (0.9)4.0 (0.7)4.0 (0.4)2.7 (0.2)2.4 (0.2)15/15
uBBDE Vodopija 1.6 (1)4.9 (4)10 (4)11 (4)13 (2)10 (1)10 (0.6)15/15
uDE-best Vodopija 2.6 (2)1.5 (1)2.5 (0.7)2.0 (0.4)2.1 (0.4)1.5 (0.7)1.2 (0.5)15/15
uDE-rand Vodopija 2.4 (2)2.3 (2)4.6 (1)3.6 (1.0)3.9 (0.5)2.5 (0.4)2.2 (0.3)15/15
uDE-ttb Vodopija 1.9 (2)2.0 (1)2.9 (1)2.6 (0.3)2.8 (0.5)1.7 (0.3)1.5 (0.2)15/15
BBDE-N Vodopija 1.7 (2)2.7 (2)6.4 (3)8.7 (2)12 (3)10 (1)10 (1)15/15
BBDE-best Vodopija 1.4 (2)0.97 (0.7)1.5 (0.4)1.4 (0.2)1.7 (0.2)1.5 (1)1.2 (0.8)15/15
BBDE-ttb Vodopija 1.9 (2)2.7 (2)5.2 (3)6.2 (2)7.5 (2)7.3 (1)7.1 (0.9)15/15
BBDE Vodopija 1.9 (3)3.5 (3)7.9 (4)9.1 (2)12 (2)9.3 (1)10 (0.8)15/15
BFGS-M-17 Blelly 12 (13)10 (9)90 (105)144 (107)∞∞∞26880/15
BFGS-P-09 Blelly 103 (204)76 (134)215 (136)∞∞∞∞94060/15
BFGS-P-Instances Blelly 16 (22)64 (73)605 (319)∞∞∞∞98380/15
BFGS-P-StPt Blelly 21 (19)87 (112)265 (297)∞∞∞∞1e40/15
BFGS-P-range Blelly 37 (67)96 (160)292 (387)∞∞∞∞89450/15
CMAES-APOP-Var1 Nguyen 1.8 (2)0.86 (0.6)2.2 (4)1.8 (2)1.8 (2)1.2 (0.9)1.2 (0.8)15/15
CMAES-APOP-Var2 Nguyen 4.1 (8)2.6 (5)1.9 (3)2.0 (2)2.3 (2)1.9 (0.9)1.6 (0.8)15/15
CMAES-APOP-Var3 Nguyen 2.1 (3)1.7 (0.9)1.5 (0.5)1.3 (2)1.8 (2)1.5 (1)1.4 (0.8)15/15
DE-best Vodopija 1.3 (2)1.0 (1)2.2 (0.7)2.0 (0.4)2.1 (0.3)1.5 (0.9)1.3 (0.6)15/15
DE-rand Vodopija 2.4 (2)2.0 (2)4.1 (1)3.8 (0.8)4.1 (0.7)2.6 (0.3)2.3 (0.2)15/15
DE-ttb Vodopija 1.4 (1)1.6 (1)2.9 (1.0)2.6 (0.7)2.6 (0.4)1.7 (0.3)1.5 (0.2)15/15
PSA-CMA-ES Nishida 2.5 (2)1.3 (1)1.6 (0.8)1.5 (0.5)1.5 (0.3)0.89 (0.1)0.79 (0.1)↑015/15
PSA-CMA-ESwRS Nishida 3.0 (3)1.2 (1.0)1.2 (0.5)1.3 (2)1.9 (1)1.8 (0.7)1.5 (0.5)15/15

Δ fopt
f18, 2-D		 1e1
19		 1e0
134		 1e-1
666		 1e-2
1249		 1e-3
1708		 1e-5
2438		 1e-7
2858		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.84 (0.5)2.5 (3)1.2 (1)0.85 (0.5)1.0 (1)1.5 (1)1.3 (0.9)1/15
uBBDE-N Vodopija 4.7 (6)4.7 (5)3.3 (0.8)3.7 (1.0)4.3 (0.5)6.1 (1)7.5 (0.8)15/15
uBBDE-best Vodopija 2.7 (2)1.6 (0.5)0.63 (0.1)↑00.50 (0.1)↑10.47 (0.1)↑00.96 (0.6)0.93 (0.5)15/15
uBBDE-ttb Vodopija 5.0 (8)2.7 (2)1.4 (0.4)1.2 (0.3)1.2 (0.3)1.4 (0.2)1.6 (0.2)15/15
uBBDE Vodopija 2.7 (3)5.2 (4)4.2 (2)4.3 (1)4.7 (1)6.3 (2)7.6 (1)15/15
uDE-best Vodopija 2.2 (2)1.6 (1)0.72 (0.3)↑10.59 (0.1)↑00.64 (0.1)↑00.83 (0.4)0.88 (0.3)15/15
uDE-rand Vodopija 1.5 (1)3.2 (0.7)1.4 (0.3)1.3 (0.3)1.4 (0.3)1.5 (0.2)1.7 (0.2)15/15
uDE-ttb Vodopija 1.8 (2)1.8 (0.7)0.85 (0.2)0.80 (0.1)↑10.82 (0.2)↑10.94 (0.2)1.1 (0.1)15/15
BBDE-N Vodopija 2.1 (4)3.8 (3)2.3 (0.9)2.9 (0.4)3.7 (1)5.5 (0.9)6.9 (0.8)15/15
BBDE-best Vodopija 2.6 (2)1.4 (0.7)0.57 (0.2)↑00.53 (0.1)↑10.49 (0.1)↑10.63 (0.4)0.64 (0.3)15/15
BBDE-ttb Vodopija 2.1 (2)3.4 (2)1.5 (0.5)2.2 (0.7)2.6 (0.5)4.0 (0.8)4.7 (0.5)15/15
BBDE Vodopija 3.3 (3)3.5 (3)2.3 (0.9)2.9 (0.7)3.8 (1)5.4 (1)6.8 (1.0)15/15
BFGS-M-17 Blelly 5.4 (7)19 (17)61 (75)∞∞∞∞28590/15
BFGS-P-09 Blelly 63 (82)103 (120)183 (213)∞∞∞∞2e40/15
BFGS-P-Instances Blelly 44 (63)132 (135)∞∞∞∞∞2e40/15
BFGS-P-StPt Blelly 59 (65)97 (87)∞∞∞∞∞2e40/15
BFGS-P-range Blelly 26 (29)124 (220)115 (119)∞∞∞∞2e40/15
CMAES-APOP-Var1 Nguyen 1.5 (1)2.7 (3)1.2 (0.9)0.93 (0.7)0.86 (0.6)1.1 (0.6)1.1 (0.7)15/15
CMAES-APOP-Var2 Nguyen 1.7 (1.0)2.7 (4)1.1 (1.0)0.93 (0.7)0.90 (0.6)1.0 (0.5)1.1 (0.5)15/15
CMAES-APOP-Var3 Nguyen 6.5 (16)2.9 (4)1.2 (0.9)1.0 (0.7)0.94 (0.6)1.0 (0.6)1.1 (0.6)15/15
DE-best Vodopija 2.0 (2)1.7 (0.8)0.67 (0.2)↑00.58 (0.2)↑00.63 (0.1)↑00.75 (0.1)↑10.82 (0.1)↑115/15
DE-rand Vodopija 3.1 (3)2.9 (2)1.3 (0.4)1.2 (0.2)1.3 (0.2)1.4 (0.2)1.6 (0.2)15/15
DE-ttb Vodopija 2.3 (2)2.0 (1)0.94 (0.4)0.84 (0.2)↑10.79 (0.1)↑10.94 (0.1)1.1 (0.2)15/15
PSA-CMA-ES Nishida 1.5 (1)4.5 (1)1.2 (0.3)0.79 (0.2)↑10.74 (0.1)↑10.68 (0.1)↑10.73 (0.3)15/15
PSA-CMA-ESwRS Nishida 4.9 (2)6.3 (4)1.8 (0.8)1.2 (0.2)1.0 (0.1)0.94 (0.2)0.93 (0.2)15/15

Δ fopt
f19, 2-D		 1e1
1		 1e0
1		 1e-1
26		 1e-2
216		 1e-3
227		 1e-5
252		 1e-7
276		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 4.4 (4)40 (74)10 (13)4.2 (6)4.2 (5)5.9 (8)5.5 (5)4/15
uBBDE-N Vodopija 3.3 (2)48 (52)17 (16)11 (13)19 (19)35 (25)52 (23)15/15
uBBDE-best Vodopija 4.2 (4)21 (24)8.1 (9)10 (11)10 (11)10 (10)10 (9)15/15
uBBDE-ttb Vodopija 5.1 (4)54 (59)10 (9)14 (18)17 (22)19 (17)23 (17)15/15
uBBDE Vodopija 4.5 (4)63 (68)18 (14)22 (15)43 (43)64 (52)85 (55)15/15
uDE-best Vodopija 3.5 (4)44 (52)6.3 (6)11 (12)11 (11)11 (10)11 (9)15/15
uDE-rand Vodopija 4.8 (4)33 (46)12 (14)12 (9)16 (11)18 (9)18 (8)15/15
uDE-ttb Vodopija 3.7 (3)53 (46)15 (15)42 (26)42 (27)41 (24)41 (24)14/15
BBDE-N Vodopija 4.1 (4)47 (50)12 (14)7.7 (6)13 (12)26 (14)41 (15)15/15
BBDE-best Vodopija 3.7 (2)46 (43)8.4 (11)8.8 (9)9.0 (9)8.8 (7)8.4 (7)15/15
BBDE-ttb Vodopija 3.8 (4)52 (43)12 (13)13 (14)15 (15)18 (14)22 (14)15/15
BBDE Vodopija 4.1 (4)31 (26)15 (15)7.5 (9)12 (9)24 (11)41 (15)15/15
BFGS-M-17 Blelly 36 (46)176 (194)28 (20)17 (17)16 (18)15 (16)65 (69)1/15
BFGS-P-09 Blelly 410 (534)1034 (1258)116 (118)168 (179)160 (192)144 (184)203 (223)2/15
BFGS-P-Instances Blelly 450 (470)1236 (1028)142 (136)116 (181)111 (119)100 (85)202 (206)4/15
BFGS-P-StPt Blelly 1 (0)1 (0)0.57 (0.1)↑0203 (306)193 (308)174 (232)1466 (1730)0/15
BFGS-P-range Blelly 97 (161)528 (592)53 (46)58 (67)55 (60)55 (57)120 (130)4/15
CMAES-APOP-Var1 Nguyen 1 (0)1 (0)12 (28)11 (8)15 (16)20 (21)23 (34)15/15
CMAES-APOP-Var2 Nguyen 1 (0)1 (0)12 (17)7.3 (4)8.5 (4)12 (8)13 (9)15/15
CMAES-APOP-Var3 Nguyen 1 (0)1 (0)15 (23)5.8 (6)12 (10)16 (22)17 (26)15/15
DE-best Vodopija 5.9 (6)45 (32)8.2 (5)11 (16)11 (15)11 (13)10 (12)15/15
DE-rand Vodopija 3.5 (4)30 (32)12 (9)10 (8)15 (9)17 (7)17 (7)15/15
DE-ttb Vodopija 5.7 (4)37 (35)11 (11)4.1 (3)5.2 (4)7.3 (5)9.1 (4)15/15
PSA-CMA-ES Nishida 5.9 (6)36 (63)7.1 (11)32 (34)92 (236)102 (211)94 (192)15/15
PSA-CMA-ESwRS Nishida 4.7 (4)33 (30)17 (14)90 (96)171 (369)156 (333)143 (304)15/15

Δ fopt
f20, 2-D		 1e1
4.0		 1e0
61		 1e-1
365		 1e-2
366		 1e-3
366		 1e-5
370		 1e-7
375		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.4 (1)2.3 (2)1.4 (1)1.5 (2)1.5 (2)1.5 (1)1.5 (2)9/15
uBBDE-N Vodopija 2.6 (2)7.5 (6)4.8 (3)7.2 (3)11 (3)19 (4)24 (4)15/15
uBBDE-best Vodopija 3.5 (3)5.7 (9)3.7 (4)4.0 (4)4.2 (4)4.6 (4)4.8 (4)15/15
uBBDE-ttb Vodopija 1.5 (2)4.9 (2)5.3 (5)6.5 (5)7.3 (6)9.0 (5)10 (5)15/15
uBBDE Vodopija 3.5 (4)8.1 (7)5.1 (3)8.8 (3)12 (4)19 (4)25 (4)15/15
uDE-best Vodopija 3.0 (3)5.2 (3)3.8 (4)4.1 (4)4.3 (4)4.8 (4)5.3 (4)15/15
uDE-rand Vodopija 3.3 (2)5.0 (2)2.8 (2)3.7 (0.8)4.3 (0.9)5.1 (0.9)5.9 (0.8)15/15
uDE-ttb Vodopija 2.5 (2)3.7 (3)3.0 (3)3.9 (3)4.6 (3)5.5 (3)6.1 (3)15/15
BBDE-N Vodopija 3.2 (4)6.0 (7)3.8 (2)6.0 (3)10 (2)18 (5)24 (7)15/15
BBDE-best Vodopija 2.6 (2)5.8 (10)4.3 (6)4.5 (6)4.7 (6)5.0 (6)5.3 (6)15/15
BBDE-ttb Vodopija 2.5 (3)5.7 (2)2.3 (1)3.9 (2)5.4 (2)8.2 (1)11 (2)15/15
BBDE Vodopija 3.3 (4)8.1 (6)4.4 (2)7.6 (3)11 (4)19 (3)25 (3)15/15
BFGS-M-17 Blelly 2.1 (2)6.1 (4)1.9 (1)1.9 (1)1.9 (1)1.9 (1)3.1 (4)14/15
BFGS-P-09 Blelly 5.6 (4)15 (17)4.9 (4)4.9 (4)4.9 (4)4.9 (3)4.8 (3)15/15
BFGS-P-Instances Blelly 5.1 (2)8.4 (8)2.2 (2)2.2 (2)2.2 (2)2.2 (2)2.2 (2)15/15
BFGS-P-StPt Blelly 4.5 (0)10 (8)3.2 (4)3.2 (4)3.2 (4)3.2 (4)3.2 (4)15/15
BFGS-P-range Blelly 5.3 (4)8.0 (10)3.0 (3)3.0 (3)3.0 (3)3.0 (3)3.0 (3)15/15
CMAES-APOP-Var1 Nguyen 1.4 (0.9)12 (10)7.4 (9)9.2 (9)11 (9)12 (9)13 (8)15/15
CMAES-APOP-Var2 Nguyen 1.7 (1)11 (12)8.3 (8)10 (9)12 (9)13 (10)14 (10)15/15
CMAES-APOP-Var3 Nguyen 1.4 (1)11 (9)4.9 (4)7.6 (4)8.2 (3)9.5 (5)10 (5)15/15
DE-best Vodopija 3.1 (4)3.8 (2)5.4 (8)5.6 (8)5.8 (8)6.3 (8)6.8 (8)15/15
DE-rand Vodopija 1.8 (2)4.8 (4)2.2 (1)3.2 (2)3.9 (1)4.6 (1)5.3 (1)15/15
DE-ttb Vodopija 2.5 (3)3.1 (2)5.3 (7)5.8 (7)6.6 (7)7.3 (7)7.9 (7)15/15
PSA-CMA-ES Nishida 2.6 (2)8.6 (10)11 (7)13 (12)13 (12)14 (12)14 (12)15/15
PSA-CMA-ESwRS Nishida 3.2 (3)25 (16)20 (23)21 (24)21 (23)21 (23)21 (23)15/15

Δ fopt
f21, 2-D		 1e1
2.0		 1e0
51		 1e-1
174		 1e-2
276		 1e-3
290		 1e-5
324		 1e-7
330		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.1 (1)2.7 (4)1.8 (3)1.2 (1)1.3 (1)1.2 (2)1.3 (2)10/15
uBBDE-N Vodopija 1 (0.8)0.81 (0.9)2.3 (2)2.6 (2)3.6 (3)7.1 (4)11 (4)15/15
uBBDE-best Vodopija 1.2 (1)4.2 (10)3.4 (6)2.3 (4)2.3 (3)2.3 (3)2.5 (3)15/15
uBBDE-ttb Vodopija 1.1 (0.8)2.6 (3)4.2 (9)3.1 (5)3.2 (5)3.9 (5)4.4 (4)15/15
uBBDE Vodopija 1.4 (1)1.8 (3)2.1 (2)2.9 (2)3.5 (3)7.6 (3)11 (3)15/15
uDE-best Vodopija 1.1 (0.5)1.6 (2)3.8 (4)2.6 (3)2.7 (3)2.7 (3)3.1 (2)15/15
uDE-rand Vodopija 1.1 (1)1.8 (2)1.4 (1)1.8 (1)2.0 (2)3.0 (1)3.5 (0.9)15/15
uDE-ttb Vodopija 0.83 (0.5)2.1 (2)4.6 (6)3.2 (4)3.5 (4)3.7 (3)4.3 (4)15/15
BBDE-N Vodopija 1.3 (1)1.6 (2)1.1 (1)1.2 (1)2.0 (2)4.4 (2)6.8 (2)15/15
BBDE-best Vodopija 1.1 (0.8)1.4 (1)0.70 (0.5)0.63 (0.4)0.76 (0.3)0.87 (0.4)1.1 (0.3)15/15
BBDE-ttb Vodopija 1.1 (0.5)1.3 (0.8)0.87 (1)1.2 (1.0)1.5 (0.7)2.9 (0.7)4.3 (1)15/15
BBDE Vodopija 1.2 (0.8)1.0 (0.9)1.2 (1)1.6 (1)2.2 (2)4.5 (2)7.2 (2)15/15
BFGS-M-17 Blelly 5.2 (6)4.6 (5)2.8 (4)1.8 (2)1.7 (2)1.6 (2)5.6 (9)8/15
BFGS-P-09 Blelly 4.9 (5)7.0 (10)4.6 (5)2.9 (3)2.8 (3)2.6 (3)7.9 (14)11/15
BFGS-P-Instances Blelly 8.6 (7)6.6 (6)4.4 (3)2.8 (2)2.7 (2)2.5 (2)13 (18)7/15
BFGS-P-StPt Blelly 4.8 (5)6.8 (9)2.8 (3)1.8 (2)1.7 (2)1.6 (2)12 (17)8/15
BFGS-P-range Blelly 4.4 (4)8.6 (8)4.8 (5)3.0 (3)2.9 (3)2.6 (3)16 (28)9/15
CMAES-APOP-Var1 Nguyen 0.93 (0.5)1.6 (2)8.4 (3)6.6 (8)6.5 (8)23 (8)23 (8)15/15
CMAES-APOP-Var2 Nguyen 0.90 (0.5)4.2 (6)2.6 (2)2.7 (1)4.7 (9)10 (10)10 (10)15/15
CMAES-APOP-Var3 Nguyen 1 (0.8)3.7 (6)4.0 (2)3.4 (7)3.9 (7)7.7 (6)18 (6)15/15
DE-best Vodopija 1 (0.8)1.5 (2)1.2 (0.6)0.90 (0.5)1.1 (0.4)1.3 (0.3)1.6 (0.4)15/15
DE-rand Vodopija 0.93 (0.5)1.4 (1)0.76 (0.9)1.3 (0.9)1.9 (1.0)2.3 (1)2.9 (0.5)15/15
DE-ttb Vodopija 1.1 (0.8)0.96 (1)0.75 (0.7)0.96 (0.6)1.1 (0.3)1.6 (0.8)2.2 (0.8)15/15
PSA-CMA-ES Nishida 1 (0.8)7.0 (23)6.6 (12)4.4 (8)4.9 (7)4.8 (7)4.9 (7)15/15
PSA-CMA-ESwRS Nishida 1.4 (2)8.9 (6)6.0 (12)3.9 (7)5.8 (12)5.4 (11)5.5 (11)15/15

Δ fopt
f22, 2-D		 1e1
5.0		 1e0
27		 1e-1
168		 1e-2
218		 1e-3
249		 1e-5
289		 1e-7
306		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.6 (0.7)5.7 (8)1.7 (3)1.9 (3)1.9 (3)2.3 (2)3.0 (4)6/15
uBBDE-N Vodopija 1.6 (2)6.0 (5)2.5 (2)3.6 (2)4.7 (2)6.9 (4)10 (3)15/15
uBBDE-best Vodopija 0.95 (0.8)10 (5)2.8 (3)2.3 (2)2.2 (2)2.1 (2)2.2 (2)15/15
uBBDE-ttb Vodopija 1.2 (1)2.4 (2)1.2 (0.8)1.2 (0.7)1.6 (1)2.6 (1)3.7 (1)15/15
uBBDE Vodopija 1.4 (1)5.6 (6)2.5 (2)3.3 (2)4.5 (2)7.8 (3)11 (5)15/15
uDE-best Vodopija 1.4 (0.9)3.7 (4)4.0 (6)3.2 (4)3.0 (4)3.1 (3)3.3 (3)15/15
uDE-rand Vodopija 0.69 (0.5)2.3 (3)1.2 (1)2.3 (2)2.6 (1)2.8 (1.0)3.8 (1)15/15
uDE-ttb Vodopija 1.4 (2)1.4 (2)1.7 (4)2.0 (4)2.3 (4)2.8 (3)3.2 (3)15/15
BBDE-N Vodopija 1.1 (1)2.7 (4)1.3 (1)1.9 (1)3.0 (3)4.2 (3)8.0 (3)15/15
BBDE-best Vodopija 1.3 (1)2.0 (2)1.4 (3)1.4 (2)1.4 (2)1.4 (2)1.6 (2)15/15
BBDE-ttb Vodopija 1.7 (1)2.8 (3)0.97 (0.9)1.00 (0.8)1.6 (1)3.0 (2)4.0 (0.9)15/15
BBDE Vodopija 1.4 (1)3.8 (4)1.6 (2)2.1 (2)3.0 (2)4.6 (2)7.3 (2)15/15
BFGS-M-17 Blelly 3.7 (5)3.6 (4)1.1 (1)0.87 (0.9)0.79 (0.8)0.83 (0.9)2.2 (2)13/15
BFGS-P-09 Blelly 7.0 (6)7.9 (11)3.4 (3)2.7 (3)2.3 (2)3.3 (3)554 (32)9/15
BFGS-P-Instances Blelly 10 (17)6.4 (6)2.9 (4)2.3 (3)2.0 (2)2.0 (2)11 (12)12/15
BFGS-P-StPt Blelly 4.2 (1)11 (13)3.4 (3)2.7 (2)2.4 (2)2.6 (3)10 (12)10/15
BFGS-P-range Blelly 6.7 (5)8.2 (11)2.8 (4)2.3 (3)2.0 (3)2.3 (2)15 (32)13/15
CMAES-APOP-Var1 Nguyen 0.75 (0.7)10 (13)65 (165)53 (127)49 (111)146 (172)144 (163)14/15
CMAES-APOP-Var2 Nguyen 1.3 (1)6.3 (14)6.4 (17)32 (53)42 (81)148 (106)141 (100)14/15
CMAES-APOP-Var3 Nguyen 1.5 (2)7.2 (11)8.8 (4)95 (79)102 (69)163 (313)165 (375)14/15
DE-best Vodopija 1.4 (2)5.0 (3)2.4 (4)2.1 (3)2.1 (2)2.2 (2)2.4 (2)15/15
DE-rand Vodopija 1.6 (2)2.4 (2)0.87 (0.7)1.4 (1.0)1.6 (1)2.4 (1)3.0 (0.8)15/15
DE-ttb Vodopija 1.3 (1)1.6 (2)1.0 (0.8)1.3 (0.7)1.7 (0.5)2.3 (0.7)2.9 (0.7)15/15
PSA-CMA-ES Nishida 2.1 (2)17 (26)7.5 (7)7.0 (9)6.5 (7)5.9 (6)5.8 (6)15/15
PSA-CMA-ESwRS Nishida 1.7 (1)15 (15)4.9 (8)9.3 (9)8.3 (7)7.4 (6)7.8 (6)15/15

Δ fopt
f23, 2-D		 1e1
8.0		 1e0
193		 1e-1
234		 1e-2
263		 1e-3
299		 1e-5
348		 1e-7
379		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.5 (1)1.2 (1)1.0 (1)★21.0 (1.0)★21.0 (0.9)★20.93 (0.8)★20.91 (0.7)★211/15
uBBDE-N Vodopija 4.0 (3)22 (17)820 (986)∞∞∞∞1e50/15
uBBDE-best Vodopija 1.6 (1)9.2 (9)48 (32)60 (62)53 (54)47 (47)44 (43)15/15
uBBDE-ttb Vodopija 1.4 (2)17 (16)574 (301)∞∞∞∞1e50/15
uBBDE Vodopija 1.9 (3)19 (22)705 (1074)∞∞∞∞1e50/15
uDE-best Vodopija 2.4 (2)7.7 (8)24 (16)35 (27)31 (23)28 (20)27 (18)15/15
uDE-rand Vodopija 2.2 (3)12 (11)330 (322)330 (239)292 (330)253 (190)235 (212)12/15
uDE-ttb Vodopija 1.6 (2)11 (12)322 (307)∞∞∞∞1e50/15
BBDE-N Vodopija 1.5 (2)6.3 (8)574 (716)∞∞∞∞1e50/15
BBDE-best Vodopija 1.3 (1)5.1 (5)47 (27)49 (42)44 (37)39 (32)37 (29)15/15
BBDE-ttb Vodopija 2.3 (2)6.8 (6)251 (242)∞∞∞∞1e50/15
BBDE Vodopija 1.6 (2)10 (9)362 (300)∞∞∞∞1e50/15
BFGS-M-17 Blelly 8.0 (8)6.8 (7)74 (88)250 (332)∞∞∞94470/15
BFGS-P-09 Blelly 44 (49)48 (40)451 (568)2136 (2148)7166 (1e4)1.3e4 (1e4)∞3e50/15
BFGS-P-Instances Blelly 15 (29)171 (349)449 (686)749 (983)812 (1035)1464 (2145)∞7e40/15
BFGS-P-StPt Blelly 53 (93)43 (57)117 (148)197 (186)582 (638)∞∞7e40/15
BFGS-P-range Blelly 51 (87)46 (29)315 (381)551 (766)914 (1523)5092 (5824)∞7e40/15
CMAES-APOP-Var1 Nguyen 1.4 (1)7.0 (7)878 (857)3046 (3804)2680 (3012)2303 (3163)2115 (2904)5/15
CMAES-APOP-Var2 Nguyen 2.2 (2)13 (14)794 (958)3047 (3044)2680 (3346)2303 (3163)2115 (2641)5/15
CMAES-APOP-Var3 Nguyen 0.75 (0.7)8.4 (10)670 (1091)1742 (1523)2010 (3012)1727 (2587)1586 (2376)6/15
DE-best Vodopija 2.0 (2)10 (8)30 (25)30 (22)27 (20)25 (17)24 (15)15/15
DE-rand Vodopija 1.6 (2)8.8 (6)173 (208)312 (329)275 (268)239 (224)221 (227)12/15
DE-ttb Vodopija 2.1 (2)8.9 (8)560 (486)∞∞∞∞1e50/15
PSA-CMA-ES Nishida 1.4 (2)6.5 (6)1353 (2100)3.2e4 (5e4)4.6e4 (4e4)4.0e4 (4e4)3.6e4 (5e4)2/15
PSA-CMA-ESwRS Nishida 1.7 (2)4.2 (4)815 (1530)2931 (3805)2578 (6190)2215 (2876)2035 (2641)12/15

Δ fopt
f24, 2-D		 1e1
18		 1e0
857		 1e-1
8515		 1e-2
23399		 1e-3
24113		 1e-5
24721		 1e-7
24721		 #succ
5/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.91 (0.5)∞∞∞∞∞∞5020/15
uBBDE-N Vodopija 1.4 (1.0)4.7 (3)2.5 (1.0)1.5 (0.9)1.8 (0.7)2.4 (0.7)2.8 (0.5)15/15
uBBDE-best Vodopija 1.4 (2)6.6 (6)2.1 (2)2.7 (3)3.1 (3)3.0 (5)3.0 (4)11/15
uBBDE-ttb Vodopija 2.8 (3)82 (98)8.9 (13)3.4 (4)3.4 (4)3.5 (6)3.6 (5)11/15
uBBDE Vodopija 3.4 (4)6.4 (6)2.9 (0.9)1.9 (0.6)2.2 (0.3)2.7 (0.6)3.0 (0.5)14/15
uDE-best Vodopija 1.2 (1)4.5 (8)2.6 (4)1.9 (2)1.9 (3)1.8 (2)1.8 (3)13/15
uDE-rand Vodopija 2.1 (4)6.7 (5)1.6 (1)0.89 (0.8)0.88 (0.8)0.87 (0.7)0.89 (0.8)15/15
uDE-ttb Vodopija 1.2 (1)156 (222)16 (14)6.0 (9)5.9 (11)5.8 (5)5.8 (4)9/15
BBDE-N Vodopija 2.0 (2)3.0 (3)2.1 (1)1.6 (0.7)1.8 (0.6)2.3 (0.8)2.6 (0.9)15/15
BBDE-best Vodopija 2.2 (2)5.9 (9)3.0 (3)3.1 (3)3.0 (3)3.0 (2)3.0 (3)11/15
BBDE-ttb Vodopija 1.6 (2)4.9 (6)1.8 (2)0.98 (0.7)1.1 (0.6)1.2 (0.7)1.3 (0.6)15/15
BBDE Vodopija 2.1 (2)5.1 (4)2.2 (1)1.4 (0.5)1.8 (0.5)2.3 (0.5)3.0 (0.7)14/15
BFGS-M-17 Blelly 3.5 (4)3.4 (3)∞∞∞∞∞46320/15
BFGS-P-09 Blelly 9.3 (11)8.0 (8)8.1 (7)∞∞∞∞93320/15
BFGS-P-Instances Blelly 12 (15)10 (17)21 (17)7.5 (9)7.3 (10)7.1 (7)7.1 (8)1/15
BFGS-P-StPt Blelly 8.8 (13)13 (12)5.9 (15)∞∞∞∞96680/15
BFGS-P-range Blelly 2.0 (2)4.7 (5)8.6 (11)6.6 (5)6.4 (9)6.2 (5)6.2 (10)1/15
CMAES-APOP-Var1 Nguyen 1.2 (0.8)185 (348)29 (74)11 (14)14 (18)18 (45)18 (30)8/15
CMAES-APOP-Var2 Nguyen 1.3 (1)153 (234)39 (53)20 (32)23 (34)24 (21)24 (30)7/15
CMAES-APOP-Var3 Nguyen 1.8 (2)125 (231)30 (29)13 (17)13 (24)17 (12)18 (17)9/15
DE-best Vodopija 2.4 (2)5.2 (7)1.6 (1)2.2 (3)2.6 (2)2.5 (3)2.5 (3)11/15
DE-rand Vodopija 1.9 (2)6.5 (7)1.7 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15
DE-ttb Vodopija 0.72 (0.4)148 (209)15 (24)5.7 (8)5.6 (6)5.6 (11)5.6 (7)8/15
PSA-CMA-ES Nishida 1.5 (2)1109 (1741)242 (304)249 (380)353 (434)555 (587)555 (640)2/15
PSA-CMA-ESwRS Nishida 2.2 (3)358 (695)96 (95)42 (35)57 (66)65 (67)65 (90)11/15

Previous dimension | Dimension = 3 | Next dimension

Δ fopt
f1, 3-D		 1e1
4.0		 1e0
8.0		 1e-1
8.0		 1e-2
8.0		 1e-3
8.0		 1e-5
8.0		 1e-7
8.0		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.2 (2)2.3 (0.6)3.2 (0.4)3.7 (0.6)4.6 (0.6)6.0 (0.9)7.7 (0.4)15/15
uBBDE-N Vodopija 2.8 (2)23 (28)101 (53)192 (80)314 (82)563 (101)849 (86)15/15
uBBDE-best Vodopija 2.4 (2)12 (6)24 (12)41 (10)56 (10)85 (13)117 (13)15/15
uBBDE-ttb Vodopija 3.6 (3)19 (10)59 (15)102 (18)133 (16)222 (35)301 (31)15/15
uBBDE Vodopija 2.9 (4)30 (42)152 (65)290 (49)425 (73)691 (63)967 (111)15/15
uDE-best Vodopija 2.0 (2)16 (6)37 (17)62 (16)81 (25)127 (22)171 (19)15/15
uDE-rand Vodopija 2.7 (3)27 (17)65 (23)107 (19)145 (12)234 (25)328 (23)15/15
uDE-ttb Vodopija 3.0 (4)15 (8)39 (9)64 (13)90 (20)147 (24)205 (20)15/15
BBDE-N Vodopija 3.6 (4)20 (17)64 (47)182 (46)287 (47)525 (114)780 (71)15/15
BBDE-best Vodopija 2.3 (2)7.9 (5)21 (12)37 (13)53 (8)84 (18)113 (12)15/15
BBDE-ttb Vodopija 2.6 (3)20 (10)56 (26)142 (46)253 (68)477 (59)714 (66)15/15
BBDE Vodopija 4.9 (5)17 (12)87 (57)198 (70)353 (71)607 (96)893 (83)15/15
BFGS-M-17 Blelly 1.8 (1)1.1 (0)1.1 (0)★41.1 (0)★41.1 (0)★41.1 (0)★41.3 (0.2)★15/15
BFGS-P-09 Blelly 2.6 (1)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.8 (0.3)15/15
BFGS-P-Instances Blelly 2.6 (1)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.8 (0.3)15/15
BFGS-P-StPt Blelly 2.5 (1)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.9 (0.3)15/15
BFGS-P-range Blelly 2.5 (1)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.5 (0)1.9 (0.6)15/15
CMAES-APOP-Var1 Nguyen 2.3 (2)4.0 (4)11 (5)16 (3)21 (5)35 (6)46 (6)15/15
CMAES-APOP-Var2 Nguyen 2.0 (3)4.2 (3)10 (4)16 (4)23 (7)35 (6)45 (7)15/15
CMAES-APOP-Var3 Nguyen 1.8 (2)4.5 (3)10 (4)17 (3)23 (6)34 (7)46 (7)15/15
DE-best Vodopija 1.6 (2)10 (10)39 (16)55 (9)75 (13)118 (16)160 (18)15/15
DE-rand Vodopija 1.6 (1)16 (13)60 (20)96 (19)143 (21)219 (24)315 (20)15/15
DE-ttb Vodopija 2.7 (3)15 (11)33 (15)64 (12)92 (10)144 (16)197 (15)15/15
PSA-CMA-ES Nishida 2.6 (3)7.7 (7)18 (8)30 (5)38 (9)54 (10)75 (9)15/15
PSA-CMA-ESwRS Nishida 3.2 (3)5.7 (4)13 (4)18 (6)25 (5)34 (8)48 (4)15/15

Δ fopt
f2, 3-D		 1e1
38		 1e0
42		 1e-1
43		 1e-2
44		 1e-3
45		 1e-5
47		 1e-7
48		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.5 (0.4)1.7 (0.4)1.9 (0.3)2.0 (0.3)2.1 (0.4)2.3 (0.3)2.5 (0.3)15/15
uBBDE-N Vodopija 64 (28)91 (15)114 (18)134 (23)165 (17)211 (14)262 (21)15/15
uBBDE-best Vodopija 13 (3)15 (2)17 (2)19 (3)20 (3)26 (5)31 (3)15/15
uBBDE-ttb Vodopija 29 (5)35 (4)41 (5)47 (4)53 (4)65 (5)79 (4)15/15
uBBDE Vodopija 88 (14)108 (9)136 (16)161 (17)187 (13)227 (11)270 (10)15/15
uDE-best Vodopija 15 (4)18 (4)22 (4)26 (3)30 (5)36 (4)42 (3)15/15
uDE-rand Vodopija 28 (6)33 (5)42 (4)49 (5)55 (6)69 (5)81 (6)15/15
uDE-ttb Vodopija 18 (3)21 (3)26 (3)30 (4)35 (3)42 (3)50 (4)15/15
BBDE-N Vodopija 42 (6)56 (10)81 (7)100 (14)122 (10)172 (20)216 (26)15/15
BBDE-best Vodopija 10 (3)13 (3)15 (3)17 (3)20 (3)24 (2)29 (3)15/15
BBDE-ttb Vodopija 30 (10)46 (10)61 (20)85 (20)107 (23)155 (21)200 (17)15/15
BBDE Vodopija 43 (12)60 (15)85 (14)109 (15)131 (22)181 (12)224 (15)15/15
BFGS-M-17 Blelly 4.0 (2)5.9 (4)6.7 (3)6.9 (3)8.4 (7)14 (10)75 (89)12/15
BFGS-P-09 Blelly 2.9 (1.0)2.9 (1.0)3.0 (0.9)3.1 (0.9)3.2 (0.9)3.3 (0.7)3.6 (0.8)15/15
BFGS-P-Instances Blelly 3.1 (1)3.0 (1)3.2 (1)3.3 (1)3.5 (1)3.7 (1)4.2 (2)15/15
BFGS-P-StPt Blelly 2.4 (1)2.4 (1)2.6 (1)2.7 (1)2.8 (1)2.9 (1)3.0 (1)15/15
BFGS-P-range Blelly 3.1 (2)3.0 (1)3.0 (2)3.1 (1)3.2 (1)3.5 (1)3.9 (1)15/15
CMAES-APOP-Var1 Nguyen 11 (5)14 (7)17 (4)18 (4)19 (3)20 (3)22 (4)15/15
CMAES-APOP-Var2 Nguyen 12 (5)14 (5)17 (2)18 (2)19 (2)20 (2)21 (2)15/15
CMAES-APOP-Var3 Nguyen 11 (5)16 (4)17 (3)18 (3)19 (3)20 (3)22 (2)15/15
DE-best Vodopija 14 (2)16 (4)20 (3)24 (3)28 (3)34 (3)41 (4)15/15
DE-rand Vodopija 21 (5)27 (4)35 (6)41 (4)47 (5)62 (4)75 (5)15/15
DE-ttb Vodopija 16 (2)18 (3)23 (2)27 (6)32 (4)41 (3)49 (4)15/15
PSA-CMA-ES Nishida 15 (4)17 (2)19 (3)21 (3)23 (3)25 (2)27 (2)15/15
PSA-CMA-ESwRS Nishida 13 (6)16 (3)17 (3)18 (3)19 (3)20 (3)22 (3)15/15

Δ fopt
f3, 3-D		 1e1
38		 1e0
822		 1e-1
830		 1e-2
835		 1e-3
842		 1e-5
847		 1e-7
853		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.6 (2)1.1 (2)6.5 (10)6.5 (5)6.4 (9)6.4 (4)6.4 (6)2/15
uBBDE-N Vodopija 24 (16)12 (5)19 (5)26 (3)33 (5)40 (5)46 (5)15/15
uBBDE-best Vodopija 14 (2)4.7 (5)26 (27)26 (27)26 (27)26 (27)26 (27)15/15
uBBDE-ttb Vodopija 15 (6)5.1 (2)8.4 (3)10 (3)11 (4)12 (3)13 (3)15/15
uBBDE Vodopija 35 (17)14 (6)20 (6)29 (6)35 (5)42 (4)48 (6)15/15
uDE-best Vodopija 7.7 (5)1.6 (0.5)2.2 (2)2.5 (2)2.6 (2)3.0 (2)3.4 (2)15/15
uDE-rand Vodopija 13 (4)2.6 (0.9)4.1 (0.9)4.7 (0.7)5.1 (0.7)5.9 (0.6)6.7 (0.6)15/15
uDE-ttb Vodopija 8.0 (4)2.2 (0.3)3.1 (0.7)3.8 (0.6)4.2 (0.6)4.9 (0.6)5.4 (0.5)15/15
BBDE-N Vodopija 13 (8)11 (3)17 (5)25 (5)30 (5)39 (5)45 (7)15/15
BBDE-best Vodopija 7.2 (5)6.1 (8)18 (20)18 (20)18 (20)18 (20)18 (20)15/15
BBDE-ttb Vodopija 19 (13)6.4 (3)9.2 (3)11 (3)13 (3)18 (4)22 (3)15/15
BBDE Vodopija 23 (12)12 (7)20 (5)27 (5)32 (4)39 (5)45 (6)15/15
BFGS-M-17 Blelly 40 (39)∞∞∞∞∞∞80040/15
BFGS-P-09 Blelly 68 (81)78 (92)120 (114)119 (177)118 (163)117 (116)117 (110)2/15
BFGS-P-Instances Blelly 64 (104)42 (46)∞∞∞∞∞1e40/15
BFGS-P-StPt Blelly 78 (55)43 (73)∞∞∞∞∞1e40/15
BFGS-P-range Blelly 49 (39)24 (18)∞∞∞∞∞1e40/15
CMAES-APOP-Var1 Nguyen 3.7 (3)3.5 (3)20 (32)23 (33)24 (33)25 (34)26 (34)15/15
CMAES-APOP-Var2 Nguyen 7.4 (16)3.7 (4)16 (14)19 (21)20 (20)21 (20)22 (20)15/15
CMAES-APOP-Var3 Nguyen 2.7 (1)4.7 (5)26 (30)32 (34)32 (34)33 (35)34 (36)15/15
DE-best Vodopija 6.1 (3)1.6 (0.5)2.8 (3)3.1 (2)3.3 (2)3.7 (2)4.0 (2)15/15
DE-rand Vodopija 11 (6)2.9 (1)4.3 (1)4.8 (1.0)5.2 (0.9)5.9 (0.9)6.8 (0.9)15/15
DE-ttb Vodopija 7.5 (4)2.1 (0.6)3.3 (0.8)4.1 (0.5)4.6 (0.6)5.2 (0.6)5.6 (0.6)15/15
PSA-CMA-ES Nishida 5.3 (3)3.5 (4)12 (13)12 (13)12 (13)13 (13)13 (13)15/15
PSA-CMA-ESwRS Nishida 3.1 (1)4.3 (4)23 (26)24 (33)24 (34)24 (34)24 (34)15/15

Δ fopt
f4, 3-D		 1e1
40		 1e0
808		 1e-1
866		 1e-2
921		 1e-3
952		 1e-5
1015		 1e-7
1044		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 4.2 (3)2.2 (3)12 (9)12 (18)11 (17)11 (11)11 (9)1/15
uBBDE-N Vodopija 32 (19)15 (8)24 (10)30 (6)36 (3)44 (3)51 (4)15/15
uBBDE-best Vodopija 13 (5)12 (12)70 (61)66 (57)64 (56)60 (52)59 (51)15/15
uBBDE-ttb Vodopija 19 (10)8.3 (3)17 (17)18 (17)18 (16)19 (15)19 (15)15/15
uBBDE Vodopija 52 (19)21 (5)31 (7)37 (9)43 (5)49 (7)55 (6)15/15
uDE-best Vodopija 10 (5)1.5 (0.7)4.0 (4)4.1 (4)4.2 (4)4.4 (3)4.7 (3)15/15
uDE-rand Vodopija 16 (7)3.9 (0.9)5.3 (0.9)5.7 (0.7)5.9 (0.6)6.3 (0.8)7.0 (0.6)15/15
uDE-ttb Vodopija 10 (5)2.7 (1.0)3.7 (1)4.6 (0.9)4.9 (0.8)5.3 (0.7)5.6 (0.7)15/15
BBDE-N Vodopija 23 (16)18 (8)26 (7)32 (6)39 (4)46 (3)53 (4)15/15
BBDE-best Vodopija 9.4 (6)14 (14)47 (67)44 (63)43 (61)40 (57)40 (55)15/15
BBDE-ttb Vodopija 18 (11)7.3 (3)11 (4)12 (3)14 (4)17 (4)20 (3)15/15
BBDE Vodopija 27 (21)18 (7)28 (8)37 (7)42 (7)48 (5)54 (6)15/15
BFGS-M-17 Blelly 49 (61)74 (135)144 (129)135 (146)131 (215)∞∞84080/15
BFGS-P-09 Blelly 82 (68)275 (238)257 (222)241 (195)233 (273)219 (263)213 (298)1/15
BFGS-P-Instances Blelly 200 (284)282 (369)∞∞∞∞∞2e40/15
BFGS-P-StPt Blelly 93 (104)87 (76)∞∞∞∞∞1e40/15
BFGS-P-range Blelly 161 (183)126 (140)250 (294)235 (185)227 (205)213 (220)207 (186)1/15
CMAES-APOP-Var1 Nguyen 9.2 (15)217 (306)2885 (3131)4331 (6319)4191 (5043)3934 (3370)3826 (4570)2/15
CMAES-APOP-Var2 Nguyen 5.6 (2)170 (198)9996 (1e4)9414 (2e4)9111 (9928)8550 (7982)8314 (1e4)1/15
CMAES-APOP-Var3 Nguyen 4.1 (2)161 (187)4586 (6157)9124 (8798)8827 (8354)8280 (6800)8050 (9342)1/15
DE-best Vodopija 9.5 (4)2.2 (2)3.4 (4)3.5 (4)3.6 (4)3.8 (4)4.1 (4)15/15
DE-rand Vodopija 14 (6)3.5 (1)4.8 (0.9)5.0 (0.7)5.3 (0.6)5.8 (0.5)6.4 (0.6)15/15
DE-ttb Vodopija 11 (4)2.7 (1.0)3.6 (1)4.3 (0.9)4.7 (0.8)5.1 (0.9)5.4 (0.9)15/15
PSA-CMA-ES Nishida 6.1 (3)127 (146)1409 (1193)1547 (1702)1497 (1737)1404 (1449)1366 (1696)13/15
PSA-CMA-ESwRS Nishida 8.8 (17)113 (137)691 (812)656 (768)634 (743)595 (697)579 (677)15/15

Δ fopt
f5, 3-D		 1e1
7.0		 1e0
7.0		 1e-1
7.0		 1e-2
7.0		 1e-3
7.0		 1e-5
7.0		 1e-7
7.0		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.7 (0.6)2.7 (1)3.2 (2)3.2 (1)3.3 (1)3.3 (1)3.3 (1)15/15
uBBDE-N Vodopija 8.2 (7)14 (7)15 (9)15 (9)15 (9)15 (9)15 (9)15/15
uBBDE-best Vodopija 5.8 (4)7.7 (1)7.8 (1)7.8 (1)7.8 (1)7.8 (1)7.8 (1)15/15
uBBDE-ttb Vodopija 5.6 (3)8.0 (2)8.2 (2)8.2 (2)8.2 (2)8.2 (2)8.2 (2)15/15
uBBDE Vodopija 8.2 (5)13 (9)14 (12)14 (12)14 (12)14 (12)14 (12)15/15
uDE-best Vodopija 7.5 (0.9)8.9 (2)9.2 (2)9.2 (2)9.2 (2)9.2 (2)9.2 (2)15/15
uDE-rand Vodopija 9.1 (6)18 (8)20 (8)20 (8)20 (8)20 (8)20 (8)15/15
uDE-ttb Vodopija 6.4 (5)11 (4)13 (5)13 (5)13 (5)13 (5)13 (5)15/15
BBDE-N Vodopija 23 (17)357 (82)871 (182)1476 (100)2215 (190)3718 (172)5212 (439)15/15
BBDE-best Vodopija 10 (8)72 (26)144 (42)225 (49)289 (58)439 (63)601 (54)15/15
BBDE-ttb Vodopija 18 (14)157 (27)419 (108)748 (98)1135 (174)1982 (246)2969 (406)15/15
BBDE Vodopija 28 (29)390 (159)965 (189)1768 (225)2520 (181)4105 (210)5695 (350)15/15
BFGS-M-17 Blelly 1.6 (0.6)2.2 (0.6)2.4 (0.3)2.4 (0.3)2.4 (0.3)2.4 (0.3)2.4 (0.3)15/15
BFGS-P-09 Blelly 1.5 (0.7)2.3 (1)2.5 (1)2.6 (1)2.6 (1)2.6 (1)2.6 (1)15/15
BFGS-P-Instances Blelly 1.4 (0.4)2.6 (0.7)2.9 (0.4)2.9 (0.4)2.9 (0.4)2.9 (0.4)2.9 (0.4)15/15
BFGS-P-StPt Blelly 1 (0)3.1 (0)3.1 (0)3.1 (0)3.1 (0)3.1 (0)3.1 (0)15/15
BFGS-P-range Blelly 1.3 (0.4)2.5 (0.7)2.8 (1)2.8 (0.7)2.8 (0.7)2.8 (0.7)2.8 (0.7)15/15
CMAES-APOP-Var1 Nguyen 3.6 (2)5.6 (2)6.0 (2)6.0 (2)6.0 (2)6.0 (2)6.0 (2)15/15
CMAES-APOP-Var2 Nguyen 3.6 (2)5.5 (2)5.7 (2)5.7 (2)5.7 (2)5.7 (2)5.7 (2)15/15
CMAES-APOP-Var3 Nguyen 3.4 (2)5.0 (2)5.5 (3)5.5 (3)5.5 (3)5.5 (3)5.5 (3)15/15
DE-best Vodopija 11 (8)83 (11)163 (48)255 (48)354 (46)550 (48)743 (55)15/15
DE-rand Vodopija 25 (12)145 (32)304 (48)446 (70)613 (47)911 (74)1225 (65)15/15
DE-ttb Vodopija 11 (10)90 (16)187 (26)278 (36)368 (27)569 (29)746 (39)15/15
PSA-CMA-ES Nishida 4.2 (3)5.4 (3)5.9 (4)5.9 (4)5.9 (4)5.9 (4)5.9 (4)15/15
PSA-CMA-ESwRS Nishida 3.0 (1)4.9 (2)5.1 (2)5.1 (2)5.2 (2)5.2 (2)5.2 (2)15/15

Δ fopt
f6, 3-D		 1e1
34		 1e0
56		 1e-1
90		 1e-2
117		 1e-3
149		 1e-5
215		 1e-7
265		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.3 (3)4.4 (3)4.0 (2)6.2 (4)11 (10)25 (29)42 (45)0/15
uBBDE-N Vodopija 14 (16)40 (21)42 (16)52 (11)57 (13)60 (4)66 (5)15/15
uBBDE-best Vodopija 4.3 (4)6.4 (3)6.9 (2)7.0 (2)7.3 (1)7.1 (1)7.7 (0.7)15/15
uBBDE-ttb Vodopija 11 (5)17 (5)17 (3)16 (3)16 (2)17 (1)18 (1)15/15
uBBDE Vodopija 33 (34)69 (26)63 (13)72 (10)72 (13)71 (10)76 (7)15/15
uDE-best Vodopija 5.5 (5)9.2 (5)10 (4)12 (3)12 (2)13 (1)14 (2)15/15
uDE-rand Vodopija 11 (9)20 (9)21 (4)22 (3)22 (2)22 (2)23 (3)15/15
uDE-ttb Vodopija 3.2 (2)8.3 (4)10 (2)11 (2)12 (2)12 (2)14 (2)15/15
BBDE-N Vodopija 4.3 (4)19 (9)25 (6)34 (8)42 (6)47 (8)56 (7)15/15
BBDE-best Vodopija 2.1 (2)4.0 (3)5.1 (1)5.6 (1)6.2 (1)6.6 (1.0)7.3 (1.0)15/15
BBDE-ttb Vodopija 4.4 (3)12 (5)16 (6)22 (6)25 (4)31 (5)35 (6)15/15
BBDE Vodopija 6.3 (5)18 (13)32 (12)43 (9)51 (9)55 (8)62 (5)15/15
BFGS-M-17 Blelly 3.5 (3)3.8 (2)2.8 (2)2.6 (1)2.6 (2)4.2 (8)18 (23)13/15
BFGS-P-09 Blelly 5.8 (4)5.8 (2)4.3 (2)4.1 (3)3.9 (2)3.3 (1)4.1 (3)15/15
BFGS-P-Instances Blelly 4.8 (5)4.6 (3)3.4 (2)3.2 (1)3.5 (2)3.6 (2)4.9 (4)15/15
BFGS-P-StPt Blelly 4.0 (4)5.0 (2)4.1 (1)4.4 (1)3.7 (1)3.4 (0.7)4.6 (2)15/15
BFGS-P-range Blelly 5.6 (3)4.7 (2)4.0 (2)3.8 (2)3.6 (1)3.2 (1)4.5 (4)15/15
CMAES-APOP-Var1 Nguyen 2.2 (2)3.1 (2)3.0 (0.9)3.3 (0.7)3.1 (0.7)3.1 (0.5)3.1 (0.4)15/15
CMAES-APOP-Var2 Nguyen 1.7 (2)2.9 (1)2.6 (1)3.1 (0.8)3.0 (0.5)2.9 (0.4)3.0 (0.4)15/15
CMAES-APOP-Var3 Nguyen 2.6 (2)3.2 (0.9)3.0 (0.5)3.0 (0.7)2.9 (0.5)2.8 (0.3)3.0 (0.3)15/15
DE-best Vodopija 3.0 (2)6.2 (4)8.7 (2)10 (4)11 (2)12 (2)13 (2)15/15
DE-rand Vodopija 3.3 (4)12 (8)16 (4)18 (3)20 (3)20 (2)22 (3)15/15
DE-ttb Vodopija 4.6 (3)7.6 (3)9.0 (2)10 (2)11 (2)12 (2)13 (2)15/15
PSA-CMA-ES Nishida 2.7 (4)5.7 (2)6.3 (2)7.2 (0.8)7.3 (0.9)7.5 (0.7)8.0 (0.7)15/15
PSA-CMA-ESwRS Nishida 2.0 (1)3.3 (1)3.1 (0.9)3.2 (0.6)3.2 (0.6)3.2 (0.5)3.4 (0.6)15/15

Δ fopt
f7, 3-D		 1e1
11		 1e0
65		 1e-1
342		 1e-2
464		 1e-3
482		 1e-5
482		 1e-7
535		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.2 (0.7)0.79 (0.8)0.64 (0.6)0.64 (0.5)0.71 (0.7)0.71 (0.7)0.66 (0.6)14/15
uBBDE-N Vodopija 5.4 (6)11 (4)4.0 (1)6.2 (3)6.9 (3)6.9 (3)8.2 (2)15/15
uBBDE-best Vodopija 4.0 (3)3.0 (2)1.2 (0.5)1.7 (2)1.8 (2)1.8 (2)1.7 (2)15/15
uBBDE-ttb Vodopija 5.0 (6)5.3 (3)2.2 (0.4)2.4 (0.6)2.7 (0.6)2.7 (0.6)2.9 (0.6)15/15
uBBDE Vodopija 6.4 (8)13 (10)5.9 (2)7.5 (2)8.6 (3)8.6 (3)10 (2)15/15
uDE-best Vodopija 4.2 (4)4.2 (2)1.5 (0.6)1.7 (0.4)1.9 (0.6)1.9 (0.6)2.0 (0.6)15/15
uDE-rand Vodopija 3.6 (4)5.4 (3)3.0 (1)3.5 (0.9)4.1 (0.9)4.1 (0.9)4.3 (0.8)15/15
uDE-ttb Vodopija 6.9 (7)4.2 (2)1.9 (0.8)2.2 (0.4)2.4 (0.5)2.4 (0.5)2.4 (0.5)15/15
BBDE-N Vodopija 4.9 (6)6.6 (4)3.5 (1)5.4 (2)6.6 (1)6.6 (1)7.6 (0.9)15/15
BBDE-best Vodopija 5.8 (3)2.6 (2)0.87 (0.4)0.86 (0.4)0.93 (0.3)0.93 (0.3)0.99 (0.2)15/15
BBDE-ttb Vodopija 2.2 (2)5.9 (4)3.3 (2)4.6 (2)5.6 (2)5.6 (2)5.9 (2)15/15
BBDE Vodopija 5.0 (5)7.2 (6)3.8 (2)6.7 (3)7.5 (2)7.5 (2)8.3 (2)15/15
BFGS-M-17 Blelly 37 (37)∞∞∞∞∞∞4040/15
BFGS-P-09 Blelly 17 (16)136 (141)∞∞∞∞∞6000/15
BFGS-P-Instances Blelly 21 (18)∞∞∞∞∞∞6000/15
BFGS-P-StPt Blelly 31 (27)136 (164)∞∞∞∞∞6000/15
BFGS-P-range Blelly 23 (38)61 (83)∞∞∞∞∞6000/15
CMAES-APOP-Var1 Nguyen 2.1 (1)2.5 (4)1.5 (1)1.7 (1)2.0 (1)2.0 (1)2.2 (1)15/15
CMAES-APOP-Var2 Nguyen 2.1 (2)2.8 (5)1.1 (1)1.3 (1)1.7 (1)1.7 (1)2.0 (1)15/15
CMAES-APOP-Var3 Nguyen 1.9 (2)2.8 (4)1.9 (1)2.2 (1)2.4 (1)2.4 (1)2.4 (1)15/15
DE-best Vodopija 4.1 (4)3.5 (2)1.4 (0.6)1.8 (0.3)1.9 (0.5)1.9 (0.5)2.0 (0.4)15/15
DE-rand Vodopija 5.0 (4)6.0 (4)2.8 (1)3.5 (1)4.1 (1)4.1 (1)4.2 (1.0)15/15
DE-ttb Vodopija 2.1 (3)4.1 (2)1.6 (0.6)1.8 (0.5)2.0 (0.5)2.0 (0.5)2.2 (0.6)15/15
PSA-CMA-ES Nishida 3.2 (3)3.2 (3)1.1 (0.9)1.1 (0.5)1.1 (0.6)1.1 (0.6)1.0 (0.5)15/15
PSA-CMA-ESwRS Nishida 2.2 (2)1.4 (0.7)1.2 (0.9)1.2 (0.7)1.4 (0.9)1.4 (0.9)1.3 (0.8)15/15

Δ fopt
f8, 3-D		 1e1
27		 1e0
45		 1e-1
152		 1e-2
179		 1e-3
188		 1e-5
198		 1e-7
208		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.3 (0.5)1.6 (1)0.70 (0.3)0.70 (0.3)0.72 (0.3)0.75 (0.2)0.77 (0.2)15/15
uBBDE-N Vodopija 22 (18)56 (28)34 (17)51 (16)69 (24)98 (20)120 (19)15/15
uBBDE-best Vodopija 5.5 (3)14 (7)5.8 (2)5.6 (2)6.0 (2)6.8 (2)7.6 (2)15/15
uBBDE-ttb Vodopija 13 (6)20 (8)10 (3)12 (2)13 (2)16 (2)18 (3)15/15
uBBDE Vodopija 20 (14)63 (22)49 (20)61 (25)88 (21)120 (17)138 (16)15/15
uDE-best Vodopija 11 (8)15 (7)6.4 (3)7.4 (2)8.7 (2)11 (2)14 (2)15/15
uDE-rand Vodopija 15 (11)29 (17)17 (5)19 (5)23 (5)29 (5)34 (5)15/15
uDE-ttb Vodopija 8.9 (6)14 (5)7.9 (3)9.2 (2)11 (4)15 (4)18 (3)15/15
BBDE-N Vodopija 11 (10)28 (21)24 (12)38 (17)53 (19)81 (17)97 (17)15/15
BBDE-best Vodopija 3.9 (2)11 (10)4.7 (4)5.0 (3)5.4 (3)6.3 (2)7.0 (2)15/15
BBDE-ttb Vodopija 13 (9)38 (15)22 (6)24 (4)29 (5)40 (8)50 (5)15/15
BBDE Vodopija 17 (11)33 (17)30 (13)43 (16)61 (14)85 (17)104 (11)15/15
BFGS-M-17 Blelly 2.0 (1)2.3 (1)0.96 (0.4)0.90 (0.3)0.92 (0.3)1.1 (0.3)3.1 (3)15/15
BFGS-P-09 Blelly 4.1 (3)5.2 (3)1.9 (0.8)1.8 (0.7)1.8 (0.6)1.7 (0.6)2.1 (1.0)15/15
BFGS-P-Instances Blelly 3.8 (3)5.2 (3)1.9 (0.9)1.8 (0.7)1.7 (0.7)1.7 (0.6)1.7 (0.6)15/15
BFGS-P-StPt Blelly 1.7 (1)2.3 (1)0.86 (0.6)0.88 (0.5)0.91 (0.5)0.93 (0.4)0.92 (0.4)15/15
BFGS-P-range Blelly 3.4 (2)5.5 (3)1.9 (0.8)1.8 (0.7)1.8 (0.6)1.7 (0.6)1.7 (0.4)15/15
CMAES-APOP-Var1 Nguyen 3.8 (3)8.3 (4)4.5 (2)4.6 (1)4.8 (1)5.1 (2)5.3 (2)15/15
CMAES-APOP-Var2 Nguyen 2.5 (2)7.5 (6)4.1 (2)4.2 (2)4.5 (2)4.9 (2)5.2 (2)15/15
CMAES-APOP-Var3 Nguyen 2.5 (2)7.0 (9)3.6 (4)4.0 (3)4.3 (3)4.7 (3)4.9 (3)15/15
DE-best Vodopija 6.7 (5)11 (8)6.0 (2)6.6 (2)8.0 (0.9)11 (2)13 (2)15/15
DE-rand Vodopija 9.3 (8)24 (8)16 (5)18 (4)21 (3)26 (4)32 (4)15/15
DE-ttb Vodopija 7.6 (4)13 (7)7.2 (2)8.5 (3)11 (2)14 (3)17 (1)15/15
PSA-CMA-ES Nishida 4.7 (2)9.1 (5)6.1 (1)6.4 (1)6.7 (0.9)7.6 (0.9)7.9 (1)15/15
PSA-CMA-ESwRS Nishida 3.7 (3)7.8 (6)4.2 (2)4.3 (2)4.6 (2)5.1 (2)5.2 (2)15/15

Δ fopt
f9, 3-D		 1e1
21		 1e0
65		 1e-1
127		 1e-2
149		 1e-3
159		 1e-5
169		 1e-7
178		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.6 (0.7)1.3 (1.0)0.96 (0.5)0.95 (0.5)0.95 (0.4)0.98 (0.4)1.0 (0.4)15/15
uBBDE-N Vodopija 26 (14)29 (17)34 (13)61 (15)81 (16)109 (11)131 (15)15/15
uBBDE-best Vodopija 7.9 (3)7.1 (6)5.9 (3)6.2 (2)6.4 (2)7.4 (2)8.2 (2)15/15
uBBDE-ttb Vodopija 17 (11)12 (7)12 (6)14 (5)15 (4)19 (3)22 (3)15/15
uBBDE Vodopija 33 (27)46 (20)57 (19)84 (26)105 (30)135 (24)158 (23)15/15
uDE-best Vodopija 11 (6)10 (5)8.7 (2)9.1 (1)10 (1)13 (1)16 (2)15/15
uDE-rand Vodopija 17 (16)21 (8)20 (5)23 (4)26 (5)31 (4)37 (6)15/15
uDE-ttb Vodopija 11 (6)12 (5)11 (2)12 (2)14 (2)18 (2)21 (2)15/15
BBDE-N Vodopija 16 (9)19 (10)30 (12)47 (13)59 (18)86 (15)108 (19)15/15
BBDE-best Vodopija 7.8 (5)9.4 (7)7.2 (5)7.1 (3)7.3 (3)8.2 (3)9.2 (3)15/15
BBDE-ttb Vodopija 15 (10)19 (8)19 (6)25 (6)31 (9)45 (10)61 (10)15/15
BBDE Vodopija 21 (16)26 (17)37 (22)64 (21)83 (27)113 (18)133 (22)15/15
BFGS-M-17 Blelly 2.4 (1)1.6 (0.3)1.1 (0.1)1.1 (0.1)1.1 (0.2)1.1 (0.2)2.3 (2)15/15
BFGS-P-09 Blelly 4.4 (3)3.5 (2)2.2 (1.0)2.0 (0.8)2.0 (0.8)1.9 (0.7)1.9 (0.7)15/15
BFGS-P-Instances Blelly 4.3 (2)2.9 (1)1.9 (0.6)1.8 (0.6)1.7 (0.5)1.7 (0.5)1.6 (0.5)15/15
BFGS-P-StPt Blelly 1.0 (0)★0.34 (0)★4↑00.57 (0.0)★2↑00.68 (0)↑00.70 (0)↑00.72 (0.0)★↑00.74 (0.0)★2↑015/15
BFGS-P-range Blelly 3.5 (3)2.5 (3)1.6 (1)1.6 (1)1.6 (1)1.5 (1)1.5 (1.0)15/15
CMAES-APOP-Var1 Nguyen 2.1 (2)4.1 (2)4.3 (2)4.5 (1)4.8 (2)5.1 (1)5.5 (1)15/15
CMAES-APOP-Var2 Nguyen 2.6 (1)3.2 (3)3.6 (3)4.1 (2)4.3 (2)4.7 (2)5.1 (2)15/15
CMAES-APOP-Var3 Nguyen 1.7 (0.6)5.3 (5)4.8 (3)5.0 (3)5.2 (3)5.7 (2)5.9 (2)15/15
DE-best Vodopija 10 (6)8.2 (3)7.7 (2)8.3 (2)9.4 (2)12 (3)15 (2)15/15
DE-rand Vodopija 13 (5)17 (9)18 (5)21 (3)24 (4)30 (4)35 (6)15/15
DE-ttb Vodopija 14 (8)10 (5)8.8 (3)12 (4)13 (3)17 (3)21 (4)15/15
PSA-CMA-ES Nishida 6.6 (3)9.1 (3)7.8 (1)8.4 (1.0)8.6 (0.9)9.3 (1)10 (0.9)15/15
PSA-CMA-ESwRS Nishida 3.1 (2)5.3 (6)5.3 (3)5.5 (3)5.7 (3)6.1 (3)6.4 (3)15/15

Δ fopt
f10, 3-D		 1e1
114		 1e0
152		 1e-1
168		 1e-2
180		 1e-3
194		 1e-5
218		 1e-7
242		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.48 (0.1)★2↑00.49 (0.1)★↑00.50 (0.1)↑00.50 (0.1)↑00.49 (0.1)↑00.50 (0.1)↑00.50 (0.0)★↑015/15
uBBDE-N Vodopija 22 (6)24 (4)29 (6)34 (3)38 (4)45 (4)50 (4)15/15
uBBDE-best Vodopija 4.6 (2)4.2 (1)4.4 (0.8)4.8 (0.7)5.1 (0.8)5.6 (0.7)6.1 (0.7)15/15
uBBDE-ttb Vodopija 9.5 (2)9.0 (0.9)10 (2)11 (1)12 (0.8)14 (0.9)16 (1.0)15/15
uBBDE Vodopija 28 (7)31 (3)34 (6)40 (2)42 (3)49 (5)53 (4)15/15
uDE-best Vodopija 7.3 (2)7.9 (1)9.3 (1)11 (2)12 (1)13 (2)15 (2)15/15
uDE-rand Vodopija 16 (2)18 (2)21 (2)23 (3)25 (2)29 (3)32 (2)15/15
uDE-ttb Vodopija 9.4 (2)9.1 (2)11 (1)12 (2)14 (1)16 (1)18 (2)15/15
BBDE-N Vodopija 16 (3)20 (4)24 (5)30 (3)33 (4)41 (3)47 (3)15/15
BBDE-best Vodopija 4.0 (2)4.3 (2)4.7 (1)5.0 (0.9)5.1 (0.7)5.7 (0.7)6.0 (0.7)15/15
BBDE-ttb Vodopija 14 (4)16 (4)21 (2)25 (4)28 (3)35 (3)41 (2)15/15
BBDE Vodopija 19 (6)22 (4)29 (4)34 (5)38 (5)45 (5)52 (4)15/15
BFGS-M-17 Blelly 1.0 (0.5)1.5 (0.8)2.1 (2)2.0 (1)2.0 (1)3.0 (2)12 (8)10/15
BFGS-P-09 Blelly 1.0 (0.4)0.82 (0.3)0.77 (0.3)↑10.78 (0.4)0.77 (0.4)0.75 (0.3)0.76 (0.3)15/15
BFGS-P-Instances Blelly 1.2 (0.6)0.96 (0.4)0.92 (0.4)0.90 (0.3)0.87 (0.2)0.87 (0.2)0.86 (0.2)15/15
BFGS-P-StPt Blelly 0.95 (0.3)0.76 (0.3)↑00.76 (0.3)↑00.73 (0.3)↑00.72 (0.3)↑00.73 (0.3)↑00.78 (0.2)↑015/15
BFGS-P-range Blelly 1.3 (0.8)1.0 (0.6)1.0 (0.6)1.00 (0.5)0.97 (0.5)0.92 (0.5)0.91 (0.5)15/15
CMAES-APOP-Var1 Nguyen 4.9 (2)4.8 (1)4.8 (0.9)4.7 (0.9)4.7 (0.7)4.6 (0.6)4.5 (0.5)15/15
CMAES-APOP-Var2 Nguyen 3.8 (2)4.6 (1)4.7 (0.6)4.7 (0.6)4.6 (0.5)4.5 (0.4)4.5 (0.4)15/15
CMAES-APOP-Var3 Nguyen 4.4 (2)4.3 (2)4.8 (0.7)4.8 (0.5)4.7 (0.5)4.7 (0.4)4.6 (0.4)15/15
DE-best Vodopija 7.8 (2)8.2 (1)9.1 (1.0)11 (2)11 (2)13 (1)14 (2)15/15
DE-rand Vodopija 13 (5)14 (3)19 (3)21 (2)23 (3)27 (2)30 (3)15/15
DE-ttb Vodopija 7.5 (3)8.7 (1)10 (2)12 (2)13 (1)15 (2)17 (2)15/15
PSA-CMA-ES Nishida 5.1 (2)4.8 (0.7)4.8 (0.4)5.1 (0.4)5.2 (0.7)5.3 (0.6)5.4 (0.6)15/15
PSA-CMA-ESwRS Nishida 4.3 (2)4.1 (2)4.5 (2)4.6 (1)4.5 (0.9)4.5 (0.8)4.5 (0.6)15/15

Δ fopt
f11, 3-D		 1e1
67		 1e0
105		 1e-1
227		 1e-2
263		 1e-3
277		 1e-5
302		 1e-7
327		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.84 (0.3)0.72 (0.2)↑00.37 (0.1)↑00.34 (0.0)↑00.34 (0.0)↑00.36 (0.0)↑00.38 (0.0)↑015/15
uBBDE-N Vodopija 25 (12)29 (6)19 (2)21 (3)24 (3)31 (3)37 (3)15/15
uBBDE-best Vodopija 6.4 (2)5.4 (0.9)2.9 (0.5)2.9 (0.4)3.2 (0.5)3.7 (0.4)4.2 (0.4)15/15
uBBDE-ttb Vodopija 11 (4)11 (2)6.6 (0.8)7.1 (0.6)7.9 (0.6)10 (0.5)11 (0.6)15/15
uBBDE Vodopija 41 (19)39 (9)25 (3)26 (2)29 (2)34 (3)39 (2)15/15
uDE-best Vodopija 10 (2)9.1 (2)5.6 (1)6.0 (0.5)7.0 (0.7)8.8 (1)10 (2)15/15
uDE-rand Vodopija 17 (9)19 (5)12 (2)13 (2)15 (1)19 (1)22 (1)15/15
uDE-ttb Vodopija 11 (4)11 (2)6.9 (1)7.4 (0.9)8.6 (1.0)11 (0.9)12 (0.6)15/15
BBDE-N Vodopija 13 (5)18 (7)14 (5)16 (2)19 (3)27 (3)32 (5)15/15
BBDE-best Vodopija 5.8 (4)5.3 (1)2.9 (0.8)2.9 (0.6)3.0 (0.5)3.8 (0.5)4.2 (0.5)15/15
BBDE-ttb Vodopija 11 (7)14 (5)11 (2)14 (2)17 (2)23 (2)28 (3)15/15
BBDE Vodopija 16 (8)23 (8)17 (3)19 (2)23 (3)29 (3)36 (3)15/15
BFGS-M-17 Blelly 1.4 (0.9)1.3 (0.6)1.8 (2)1.6 (1)2.6 (3)5.3 (6)13 (14)10/15
BFGS-P-09 Blelly 1.2 (0.6)0.83 (0.4)0.41 (0.1)↑00.38 (0.1)↑00.40 (0.1)↑00.41 (0.1)↑00.50 (0.2)↑115/15
BFGS-P-Instances Blelly 1.5 (1)1.0 (0.9)0.54 (0.5)0.49 (0.5)0.49 (0.5)0.49 (0.4)0.50 (0.4)15/15
BFGS-P-StPt Blelly 1.3 (0.7)0.89 (0.5)0.44 (0.2)↑00.41 (0.2)↑00.41 (0.2)↑00.41 (0.2)↑00.66 (0.6)15/15
BFGS-P-range Blelly 1.2 (0.7)0.84 (0.4)0.42 (0.2)↑00.39 (0.2)↑00.41 (0.2)↑00.42 (0.1)↑00.44 (0.1)↑015/15
CMAES-APOP-Var1 Nguyen 7.9 (4)7.0 (1)3.7 (0.5)3.4 (0.5)3.4 (0.4)3.5 (0.3)3.5 (0.2)15/15
CMAES-APOP-Var2 Nguyen 9.0 (3)7.0 (2)3.6 (0.9)3.3 (0.7)3.4 (0.5)3.4 (0.4)3.5 (0.4)15/15
CMAES-APOP-Var3 Nguyen 8.4 (5)7.4 (2)3.8 (0.7)3.6 (0.6)3.6 (0.6)3.6 (0.5)3.6 (0.5)15/15
DE-best Vodopija 10 (5)10 (2)5.7 (1)6.1 (1.0)7.2 (1.0)8.7 (1)10 (1)15/15
DE-rand Vodopija 13 (6)15 (4)11 (1)12 (2)14 (2)18 (2)21 (2)15/15
DE-ttb Vodopija 10 (6)9.2 (2)6.1 (1)6.9 (0.9)8.2 (0.6)10 (1.0)12 (0.7)15/15
PSA-CMA-ES Nishida 8.2 (5)7.2 (1)3.8 (0.4)3.6 (0.4)3.7 (0.4)3.9 (0.3)4.1 (0.4)15/15
PSA-CMA-ESwRS Nishida 8.6 (4)6.9 (2)3.7 (0.6)3.5 (0.4)3.5 (0.4)3.6 (0.4)3.7 (0.3)15/15

Δ fopt
f12, 3-D		 1e1
65		 1e0
168		 1e-1
338		 1e-2
401		 1e-3
445		 1e-5
696		 1e-7
790		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.8 (1)1.3 (1)0.86 (0.8)0.91 (0.6)0.93 (0.6)0.85 (0.7)0.88 (0.6)★5/15
uBBDE-N Vodopija 86 (34)63 (41)70 (59)132 (133)140 (139)149 (241)143 (117)11/15
uBBDE-best Vodopija 18 (11)12 (8)7.6 (6)7.3 (5)7.0 (5)5.4 (3)5.4 (3)15/15
uBBDE-ttb Vodopija 29 (21)22 (16)16 (12)16 (11)17 (13)14 (13)15 (14)15/15
uBBDE Vodopija 150 (79)115 (93)91 (95)104 (104)148 (114)166 (134)193 (252)9/15
uDE-best Vodopija 22 (19)16 (14)12 (9)12 (9)12 (7)9.4 (5)10 (5)15/15
uDE-rand Vodopija 44 (9)29 (9)21 (12)23 (16)23 (16)20 (13)21 (12)15/15
uDE-ttb Vodopija 29 (11)22 (17)16 (14)16 (15)16 (13)13 (10)14 (10)15/15
BBDE-N Vodopija 50 (16)33 (11)41 (25)66 (42)79 (40)103 (107)112 (103)13/15
BBDE-best Vodopija 13 (9)9.0 (10)6.8 (6)6.7 (5)6.7 (5)5.3 (4)5.5 (3)15/15
BBDE-ttb Vodopija 41 (14)33 (11)24 (13)30 (18)32 (15)30 (17)36 (20)15/15
BBDE Vodopija 63 (26)44 (19)50 (24)65 (41)89 (54)97 (75)125 (136)12/15
BFGS-M-17 Blelly 1.7 (2)1.6 (2)1.9 (2)2.9 (2)3.9 (6)18 (18)112 (137)2/15
BFGS-P-09 Blelly 6.5 (7)3.7 (3)2.3 (2)2.2 (2)2.1 (1)1.6 (1.0)1.5 (0.9)15/15
BFGS-P-Instances Blelly 8.8 (6)4.9 (4)3.0 (2)2.8 (2)2.6 (2)1.9 (1)1.8 (1)15/15
BFGS-P-StPt Blelly 6.4 (4)4.1 (1)2.7 (0.5)2.5 (0.5)2.4 (0.5)1.8 (0.4)2.1 (0.7)15/15
BFGS-P-range Blelly 10 (8)5.5 (3)3.3 (2)3.1 (1)2.9 (1)2.1 (0.8)2.1 (1)15/15
CMAES-APOP-Var1 Nguyen 7.4 (7)6.0 (5)4.6 (4)4.6 (4)5.5 (3)4.5 (3)5.4 (9)15/15
CMAES-APOP-Var2 Nguyen 6.0 (6)5.9 (5)5.5 (4)5.6 (3)5.7 (3)4.6 (2)4.7 (3)15/15
CMAES-APOP-Var3 Nguyen 8.1 (8)7.2 (9)6.2 (6)6.1 (5)6.2 (5)6.4 (9)6.8 (9)15/15
DE-best Vodopija 23 (16)16 (15)11 (9)11 (8)11 (7)9.1 (5)9.4 (5)15/15
DE-rand Vodopija 37 (13)25 (21)19 (12)21 (11)21 (11)18 (8)19 (9)15/15
DE-ttb Vodopija 22 (7)15 (10)11 (7)12 (6)14 (8)13 (8)14 (8)15/15
PSA-CMA-ES Nishida 11 (10)8.1 (9)5.6 (6)5.5 (5)5.7 (5)5.0 (4)5.5 (6)15/15
PSA-CMA-ESwRS Nishida 6.5 (5)4.6 (3)3.8 (4)4.0 (4)3.9 (3)3.2 (3)3.5 (2)15/15

Δ fopt
f13, 3-D		 1e1
49		 1e0
85		 1e-1
108		 1e-2
136		 1e-3
215		 1e-5
281		 1e-7
365		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.0 (3)1.6 (2)1.5 (1)1.3 (1)0.99 (0.7)0.95 (0.5)0.92 (0.4)★315/15
uBBDE-N Vodopija 31 (12)36 (8)47 (7)50 (6)41 (4)46 (4)49 (4)15/15
uBBDE-best Vodopija 6.0 (3)6.1 (1)7.2 (1)7.4 (1)5.7 (0.6)6.0 (0.9)5.9 (0.5)15/15
uBBDE-ttb Vodopija 15 (3)15 (3)17 (2)18 (0.9)14 (1)15 (1)15 (0.8)15/15
uBBDE Vodopija 35 (10)42 (8)53 (6)56 (8)47 (3)51 (3)52 (3)15/15
uDE-best Vodopija 10 (3)11 (3)14 (2)15 (2)12 (2)13 (1)13 (1)15/15
uDE-rand Vodopija 20 (7)25 (5)30 (5)33 (3)28 (4)29 (2)30 (2)15/15
uDE-ttb Vodopija 11 (3)14 (3)17 (4)18 (2)15 (2)17 (1)16 (1)15/15
BBDE-N Vodopija 24 (5)30 (7)41 (11)47 (7)40 (7)46 (5)49 (5)15/15
BBDE-best Vodopija 6.0 (2)6.4 (1)7.0 (0.8)7.4 (1.0)5.5 (0.8)5.9 (0.6)5.7 (0.2)15/15
BBDE-ttb Vodopija 20 (11)28 (6)36 (6)41 (6)35 (6)42 (3)45 (4)15/15
BBDE Vodopija 28 (9)37 (8)47 (8)53 (5)44 (5)48 (2)49 (3)15/15
BFGS-M-17 Blelly 1.2 (0.4)1.0 (0.2)1.0 (0.2)1.00 (0.1)0.74 (0.1)↑021 (33)∞3e40/15
BFGS-P-09 Blelly 1.4 (0.3)1.1 (0.2)1.1 (0.2)1.1 (0.1)0.83 (0.1)↑12.1 (0.5)656 (1761)7/15
BFGS-P-Instances Blelly 1.3 (0.3)1.0 (0.2)1.1 (0.2)1.1 (0.1)0.81 (0.1)↑02.4 (3)388 (658)12/15
BFGS-P-StPt Blelly 1.3 (0.4)1.0 (0.1)1.1 (0.1)1.1 (0.1)0.80 (0.1)↑01.1 (0.3)539 (2091)11/15
BFGS-P-range Blelly 1.3 (0.3)1.1 (0.2)1.1 (0.2)1.1 (0.2)0.82 (0.1)↑01.4 (0.4)417 (678)12/15
CMAES-APOP-Var1 Nguyen 3.8 (1)5.0 (2)5.3 (1)5.1 (0.7)4.1 (0.8)4.3 (0.6)4.1 (0.5)15/15
CMAES-APOP-Var2 Nguyen 4.2 (3)5.0 (3)5.8 (2)5.4 (2)4.3 (1)4.2 (0.6)4.3 (0.7)15/15
CMAES-APOP-Var3 Nguyen 5.9 (4)4.9 (3)5.7 (2)5.8 (1)4.5 (0.6)4.5 (0.7)4.4 (0.6)15/15
DE-best Vodopija 10 (5)12 (4)14 (3)15 (2)12 (2)13 (1)13 (1)15/15
DE-rand Vodopija 15 (8)21 (3)28 (3)30 (5)25 (3)28 (2)29 (2)15/15
DE-ttb Vodopija 10 (3)13 (3)17 (3)18 (2)15 (2)16 (1)16 (1)15/15
PSA-CMA-ES Nishida 4.8 (2)5.6 (1)6.1 (0.9)6.0 (1.0)4.8 (0.5)4.9 (0.6)4.8 (0.5)15/15
PSA-CMA-ESwRS Nishida 4.3 (3)5.2 (2)6.4 (2)6.0 (2)4.5 (1)4.7 (0.8)4.4 (0.9)15/15

Δ fopt
f14, 3-D		 1e1
2.0		 1e0
17		 1e-1
28		 1e-2
43		 1e-3
71		 1e-5
110		 1e-7
194		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.2 (2)1.3 (0.5)1.3 (0.3)1.1 (0.2)0.97 (0.2)1.1 (0.2)0.82 (0.1)↑015/15
uBBDE-N Vodopija 2.2 (2)10 (10)39 (24)58 (8)57 (6)68 (5)55 (5)15/15
uBBDE-best Vodopija 2.1 (2)4.4 (2)6.8 (3)10 (2)8.8 (1)9.0 (1)7.1 (0.9)15/15
uBBDE-ttb Vodopija 3.2 (2)8.9 (6)19 (9)22 (3)20 (2)21 (3)16 (1)15/15
uBBDE Vodopija 2.4 (4)14 (19)46 (28)68 (13)64 (13)73 (7)59 (6)15/15
uDE-best Vodopija 3.1 (3)5.5 (3)13 (4)14 (2)13 (3)16 (2)13 (2)15/15
uDE-rand Vodopija 2.1 (2)10 (8)24 (5)25 (6)25 (3)30 (3)27 (3)15/15
uDE-ttb Vodopija 2.6 (2)5.9 (5)13 (7)16 (3)15 (3)17 (3)16 (1)15/15
BBDE-N Vodopija 1.8 (2)9.0 (8)23 (16)45 (11)43 (8)54 (5)48 (4)15/15
BBDE-best Vodopija 2.3 (3)3.1 (3)6.7 (4)8.5 (2)8.7 (1)8.5 (1)6.9 (0.9)15/15
BBDE-ttb Vodopija 2.6 (2)8.5 (6)23 (14)35 (7)34 (11)49 (8)43 (3)15/15
BBDE Vodopija 2.5 (2)5.0 (4)28 (18)45 (11)51 (8)65 (9)54 (4)15/15
BFGS-M-17 Blelly 3.0 (4)1.5 (0.8)1.6 (0.6)1.4 (0.5)1.1 (0.3)0.96 (0.3)2.2 (4)15/15
BFGS-P-09 Blelly 5.8 (4)1.6 (0.6)1.6 (0.6)1.6 (0.6)1.3 (0.3)1.2 (0.2)3.1 (5)15/15
BFGS-P-Instances Blelly 6.1 (5)1.6 (0.9)1.7 (0.6)1.7 (0.5)1.3 (0.4)1.3 (0.2)10 (15)14/15
BFGS-P-StPt Blelly 2.7 (3)0.94 (0.3)1.2 (0.4)1.3 (0.3)1.1 (0.2)1.2 (0.1)4.6 (7)15/15
BFGS-P-range Blelly 5.5 (1)1.4 (0.4)1.4 (0.8)1.5 (0.5)1.2 (0.3)1.2 (0.2)1.8 (1)15/15
CMAES-APOP-Var1 Nguyen 2.5 (3)1.8 (2)3.3 (1)3.6 (1)4.3 (2)6.1 (2)5.4 (0.7)15/15
CMAES-APOP-Var2 Nguyen 2.4 (2)2.0 (2)3.3 (1)3.8 (1)4.4 (2)6.5 (1)5.8 (0.8)15/15
CMAES-APOP-Var3 Nguyen 1.6 (2)2.0 (2)3.5 (0.5)4.4 (0.8)4.4 (1)6.1 (0.9)5.5 (0.7)15/15
DE-best Vodopija 2.7 (3)3.5 (3)11 (4)12 (3)11 (3)14 (3)13 (2)15/15
DE-rand Vodopija 1.7 (1)6.0 (5)18 (5)22 (5)21 (6)30 (3)27 (4)15/15
DE-ttb Vodopija 1.8 (2)5.7 (2)12 (3)13 (4)13 (2)16 (2)15 (2)15/15
PSA-CMA-ES Nishida 3.3 (4)2.6 (2)5.8 (3)6.7 (2)6.6 (2)8.0 (0.7)6.5 (0.7)15/15
PSA-CMA-ESwRS Nishida 3.6 (4)2.0 (2)3.7 (2)4.4 (1.0)4.2 (1)6.5 (0.6)5.6 (0.4)15/15

Δ fopt
f15, 3-D		 1e1
121		 1e0
1372		 1e-1
6285		 1e-2
8282		 1e-3
8429		 1e-5
8787		 1e-7
9041		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.47 (0.2)↑10.54 (0.9)0.39 (0.6)0.40 (0.6)0.39 (0.4)0.38 (0.4)0.37 (0.5)3/15
uBBDE-N Vodopija 9.1 (5)8.2 (3)2.9 (1)3.0 (0.6)3.7 (0.6)4.5 (0.8)5.2 (0.8)15/15
uBBDE-best Vodopija 1.8 (1)1.9 (2)4.7 (6)3.6 (4)3.5 (4)3.4 (4)3.3 (4)15/15
uBBDE-ttb Vodopija 4.0 (2)2.7 (1)1.0 (0.4)0.91 (0.3)0.97 (0.3)1.0 (0.3)1.1 (0.3)15/15
uBBDE Vodopija 10 (7)9.0 (5)3.2 (0.8)3.5 (0.5)4.1 (0.5)4.8 (0.5)5.4 (0.3)15/15
uDE-best Vodopija 3.2 (1)2.3 (2)1.4 (1)1.1 (0.8)1.1 (0.8)1.1 (0.7)1.1 (0.7)15/15
uDE-rand Vodopija 4.5 (3)4.9 (2)1.4 (0.3)1.1 (0.3)1.2 (0.3)1.2 (0.3)1.3 (0.3)15/15
uDE-ttb Vodopija 2.6 (1)2.5 (2)2.4 (0.4)2.0 (0.2)2.0 (0.2)2.0 (0.2)2.0 (0.2)14/15
BBDE-N Vodopija 4.3 (3)8.0 (3)3.1 (0.7)2.9 (0.6)3.5 (0.5)4.4 (0.8)5.2 (0.9)15/15
BBDE-best Vodopija 1.8 (1)3.1 (3)2.9 (3)2.2 (2)2.2 (2)2.1 (2)2.1 (2)15/15
BBDE-ttb Vodopija 4.3 (4)5.0 (3)1.8 (1)1.6 (0.9)1.9 (0.8)2.2 (0.7)2.6 (0.6)15/15
BBDE Vodopija 6.0 (2)9.4 (4)3.1 (1.0)3.3 (0.4)3.9 (0.9)4.7 (0.5)5.2 (0.8)15/15
BFGS-M-17 Blelly 10 (13)15 (14)20 (14)15 (12)15 (21)14 (17)14 (11)1/15
BFGS-P-09 Blelly 20 (14)27 (32)37 (32)28 (28)28 (17)27 (29)26 (24)1/15
BFGS-P-Instances Blelly 19 (13)18 (18)37 (56)28 (25)28 (30)27 (32)26 (30)1/15
BFGS-P-StPt Blelly 21 (13)81 (80)∞∞∞∞∞2e40/15
BFGS-P-range Blelly 23 (25)16 (11)∞∞∞∞∞2e40/15
CMAES-APOP-Var1 Nguyen 1.1 (1)1.9 (1)0.75 (0.8)0.66 (0.7)0.70 (0.7)0.78 (0.7)0.82 (0.7)15/15
CMAES-APOP-Var2 Nguyen 0.87 (0.3)1.7 (1)0.85 (0.4)0.75 (0.3)0.80 (0.4)0.86 (0.4)0.91 (0.4)15/15
CMAES-APOP-Var3 Nguyen 0.81 (0.4)2.1 (2)0.81 (0.6)0.80 (0.6)0.89 (0.7)0.95 (0.7)1.0 (0.7)15/15
DE-best Vodopija 2.6 (1)1.5 (0.5)1.3 (1)1.0 (1)1.0 (1)1.0 (1)1.0 (1.0)15/15
DE-rand Vodopija 4.0 (3)3.7 (2)1.3 (0.2)1.1 (0.1)1.1 (0.2)1.1 (0.2)1.2 (0.1)15/15
DE-ttb Vodopija 2.9 (2)2.3 (1)0.71 (0.2)↑00.67 (0.1)↑00.73 (0.1)↑00.79 (0.1)↑00.84 (0.1)↑115/15
PSA-CMA-ES Nishida 1.4 (1.0)1.9 (2)1.1 (1)0.89 (1.0)0.88 (1.0)0.87 (0.9)0.86 (0.9)15/15
PSA-CMA-ESwRS Nishida 1.9 (0.9)1.7 (2)1.0 (0.8)0.81 (0.6)0.81 (0.6)0.79 (0.6)0.79 (0.6)15/15

Δ fopt
f16, 3-D		 1e1
41		 1e0
319		 1e-1
582		 1e-2
789		 1e-3
1864		 1e-5
3204		 1e-7
3361		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.7 (4)1.4 (1)1.3 (2)0.97 (1)0.42 (0.5)0.26 (0.2)0.26 (0.2)9/15
uBBDE-N Vodopija 2.1 (3)11 (11)34 (14)61 (31)51 (21)167 (286)665 (703)0/15
uBBDE-best Vodopija 2.1 (3)1.6 (1.0)1.9 (3)1.6 (2)0.99 (0.9)0.73 (0.5)0.82 (0.5)15/15
uBBDE-ttb Vodopija 0.70 (0.6)11 (8)16 (9)21 (13)11 (6)7.7 (4)8.3 (4)15/15
uBBDE Vodopija 2.0 (3)16 (14)54 (37)95 (45)80 (86)699 (702)∞2e50/15
uDE-best Vodopija 2.4 (2)4.3 (2)5.0 (2)5.0 (5)2.2 (2)1.5 (1)1.6 (1)15/15
uDE-rand Vodopija 1.4 (0.8)14 (13)24 (9)22 (8)10 (4)6.5 (2)6.6 (2)15/15
uDE-ttb Vodopija 1.7 (2)5.6 (6)15 (8)17 (7)9.5 (5)6.8 (4)7.2 (5)15/15
BBDE-N Vodopija 1.9 (2)6.4 (8)21 (12)35 (15)29 (18)66 (66)214 (232)2/15
BBDE-best Vodopija 1.0 (1)1.9 (2)1.9 (1)1.8 (2)0.86 (0.8)0.64 (0.5)0.85 (0.5)15/15
BBDE-ttb Vodopija 2.0 (2)4.4 (3)14 (7)27 (34)17 (15)16 (15)24 (27)11/15
BBDE Vodopija 1.2 (1)6.3 (6)25 (20)42 (21)35 (15)57 (47)158 (92)3/15
BFGS-M-17 Blelly 22 (22)501 (361)∞∞∞∞∞1e40/15
BFGS-P-09 Blelly 357 (396)4452 (5350)∞∞∞∞∞9e40/15
BFGS-P-Instances Blelly 349 (345)1536 (1878)2550 (2336)∞∞∞∞1e50/15
BFGS-P-StPt Blelly 283 (357)668 (1135)2347 (3103)∞∞∞∞9e40/15
BFGS-P-range Blelly 362 (305)4288 (4591)∞∞∞∞∞1e50/15
CMAES-APOP-Var1 Nguyen 3.2 (0.9)5.0 (6)18 (23)26 (35)12 (15)8.0 (8)8.0 (8)15/15
CMAES-APOP-Var2 Nguyen 1.4 (1)4.2 (10)26 (18)33 (88)17 (38)10 (22)10 (22)15/15
CMAES-APOP-Var3 Nguyen 1.4 (1)3.8 (6)22 (53)26 (41)12 (18)7.4 (11)7.3 (11)15/15
DE-best Vodopija 1.3 (1)4.7 (3)3.8 (1)3.1 (1)1.5 (0.5)1.0 (0.3)1.1 (0.3)15/15
DE-rand Vodopija 2.0 (2)7.7 (8)19 (10)20 (7)10 (3)6.6 (2)6.7 (2)15/15
DE-ttb Vodopija 1.8 (3)5.6 (5)12 (7)15 (5)8.1 (4)5.8 (4)6.2 (4)15/15
PSA-CMA-ES Nishida 1.3 (2)3.0 (4)20 (43)28 (65)12 (27)7.1 (16)6.8 (15)15/15
PSA-CMA-ESwRS Nishida 1.2 (1)4.2 (4)5.8 (9)4.6 (7)2.0 (3)1.3 (2)1.3 (2)15/15

Δ fopt
f17, 3-D		 1e1
4.0		 1e0
78		 1e-1
282		 1e-2
491		 1e-3
1134		 1e-5
2347		 1e-7
3469		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.8 (1)1.4 (2)1.4 (2)1.5 (1)1.2 (1)2.4 (2)3.2 (2)1/15
uBBDE-N Vodopija 2.6 (3)12 (7)16 (5)21 (4)15 (2)15 (2)14 (1)15/15
uBBDE-best Vodopija 2.3 (2)8.2 (3)3.6 (2)3.8 (0.8)5.4 (6)9.2 (15)7.3 (10)14/15
uBBDE-ttb Vodopija 1.4 (1)4.9 (3)4.5 (1)4.8 (1.0)3.1 (0.4)2.6 (0.4)2.4 (0.1)15/15
uBBDE Vodopija 1.5 (1)14 (7)20 (6)23 (5)17 (2)15 (1)15 (1)15/15
uDE-best Vodopija 1.6 (2)2.9 (2)2.7 (0.7)2.8 (0.8)1.8 (0.4)1.5 (0.2)1.5 (0.1)15/15
uDE-rand Vodopija 1.6 (2)5.6 (5)5.9 (1)6.5 (0.9)4.2 (0.3)3.5 (0.3)3.2 (0.4)15/15
uDE-ttb Vodopija 1.7 (1)3.7 (2)3.4 (1.0)3.4 (0.4)2.3 (0.3)1.9 (0.2)1.7 (0.2)15/15
BBDE-N Vodopija 1.4 (2)7.9 (7)12 (4)19 (3)13 (2)14 (2)14 (0.7)15/15
BBDE-best Vodopija 1.2 (1)1.9 (0.9)3.0 (0.4)16 (11)7.3 (5)5.2 (5)5.4 (6)15/15
BBDE-ttb Vodopija 1.9 (2)6.0 (4)8.6 (3)12 (3)10 (1)9.1 (0.8)8.8 (0.7)15/15
BBDE Vodopija 1.2 (2)5.9 (5)14 (4)19 (3)15 (3)14 (2)14 (0.7)15/15
BFGS-M-17 Blelly 12 (17)34 (37)308 (332)∞∞∞∞58760/15
BFGS-P-09 Blelly 35 (58)140 (148)∞∞∞∞∞2e40/15
BFGS-P-Instances Blelly 64 (78)121 (156)∞∞∞∞∞2e40/15
BFGS-P-StPt Blelly 31 (37)156 (125)∞∞∞∞∞2e40/15
BFGS-P-range Blelly 25 (29)116 (102)841 (687)∞∞∞∞2e40/15
CMAES-APOP-Var1 Nguyen 1.8 (2)1.2 (0.6)1.3 (0.3)1.9 (3)1.8 (2)1.8 (0.9)1.6 (0.2)15/15
CMAES-APOP-Var2 Nguyen 0.97 (1)2.9 (0.8)2.1 (5)2.3 (3)1.4 (2)1.7 (1.0)1.6 (0.2)15/15
CMAES-APOP-Var3 Nguyen 1.2 (2)1.1 (0.6)1.4 (0.2)1.1 (0.2)1.2 (2)1.3 (0.9)1.2 (0.8)15/15
DE-best Vodopija 2.3 (2)3.4 (2)2.9 (0.7)2.9 (0.5)1.8 (0.3)2.3 (3)2.0 (2)15/15
DE-rand Vodopija 1.4 (1)5.4 (3)5.4 (1)6.1 (1)3.9 (0.7)3.3 (0.4)3.0 (0.3)15/15
DE-ttb Vodopija 2.0 (2)3.6 (2)3.5 (0.7)3.7 (0.4)2.2 (0.4)1.9 (0.2)1.8 (0.1)15/15
PSA-CMA-ES Nishida 3.4 (3)2.0 (1)1.5 (0.5)1.4 (0.3)0.83 (0.1)↑00.66 (0.1)↑00.60 (0.1)↑015/15
PSA-CMA-ESwRS Nishida 2.8 (2)3.1 (0.7)1.6 (2)1.7 (2)1.1 (1)0.94 (0.6)0.77 (0.4)15/15

Δ fopt
f18, 3-D		 1e1
40		 1e0
145		 1e-1
1289		 1e-2
3084		 1e-3
3523		 1e-5
4738		 1e-7
5527		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.5 (0.4)2.4 (3)1.2 (1.0)1.1 (1)1.5 (2)∞∞7530/15
uBBDE-N Vodopija 4.5 (5)15 (10)6.3 (2)5.0 (1)6.9 (2)10 (1)12 (2)15/15
uBBDE-best Vodopija 2.4 (2)10 (7)5.4 (6)3.0 (4)3.5 (3)6.5 (8)7.5 (14)13/15
uBBDE-ttb Vodopija 3.5 (3)6.5 (2)1.6 (0.2)1.1 (0.1)1.3 (0.1)1.5 (0.1)1.6 (0.1)15/15
uBBDE Vodopija 6.6 (7)21 (10)7.2 (2)5.4 (2)7.8 (2)10 (2)12 (2)15/15
uDE-best Vodopija 2.6 (3)4.3 (1)1.0 (0.2)0.68 (0.2)↑10.81 (0.2)0.99 (0.2)1.1 (0.1)15/15
uDE-rand Vodopija 4.1 (5)9.1 (2)2.3 (0.7)1.7 (0.3)2.1 (0.3)2.6 (0.3)2.8 (0.4)15/15
uDE-ttb Vodopija 3.5 (2)5.1 (2)1.4 (0.2)0.93 (0.1)1.1 (0.2)1.4 (0.2)1.5 (0.2)15/15
BBDE-N Vodopija 2.8 (3)12 (7)5.0 (1)4.6 (0.7)6.6 (1)10 (1)11 (2)15/15
BBDE-best Vodopija 2.0 (2)2.8 (1)2.1 (3)1.4 (3)3.5 (4)3.9 (4)6.4 (8)14/15
BBDE-ttb Vodopija 3.0 (3)11 (5)3.5 (1)2.7 (0.7)3.7 (0.7)5.3 (0.8)6.4 (0.5)15/15
BBDE Vodopija 3.3 (3)16 (7)5.7 (2)4.8 (1)7.0 (1)10 (2)11 (2)15/15
BFGS-M-17 Blelly 20 (26)99 (94)∞∞∞∞∞56640/15
BFGS-P-09 Blelly 116 (145)2311 (1983)∞∞∞∞∞2e40/15
BFGS-P-Instances Blelly 113 (102)2262 (1942)∞∞∞∞∞2e40/15
BFGS-P-StPt Blelly 104 (151)∞∞∞∞∞∞2e40/15
BFGS-P-range Blelly 78 (86)2167 (3341)∞∞∞∞∞2e40/15
CMAES-APOP-Var1 Nguyen 0.94 (0.7)2.6 (3)1.5 (2)0.95 (0.7)0.98 (0.7)1.2 (0.2)1.1 (0.2)15/15
CMAES-APOP-Var2 Nguyen 1.0 (0.9)3.4 (8)1.3 (1)0.77 (0.6)0.93 (0.6)1.0 (0.5)1.1 (0.1)15/15
CMAES-APOP-Var3 Nguyen 0.92 (0.9)5.3 (11)2.1 (2)1.1 (0.8)1.3 (0.7)1.2 (0.3)1.3 (0.3)15/15
DE-best Vodopija 2.7 (2)4.5 (2)1.1 (0.2)0.70 (0.1)↑10.86 (0.1)↑11.0 (0.1)1.4 (0.8)15/15
DE-rand Vodopija 2.3 (4)7.6 (3)2.3 (0.6)1.7 (0.2)2.1 (0.4)2.5 (0.3)2.8 (0.3)15/15
DE-ttb Vodopija 2.3 (2)4.2 (2)1.2 (0.3)0.84 (0.2)1.1 (0.1)1.3 (0.2)1.5 (0.2)15/15
PSA-CMA-ES Nishida 1.8 (0.9)3.8 (2)0.76 (0.3)↑10.43 (0.1)↑10.48 (0.1)↑10.50 (0.1)↑10.53 (0.1)↑015/15
PSA-CMA-ESwRS Nishida 1.9 (2)3.3 (5)1.5 (1)0.81 (0.4)0.89 (0.4)0.95 (0.4)1.0 (0.7)15/15

Δ fopt
f19, 3-D		 1e1
1		 1e0
1		 1e-1
109		 1e-2
6764		 1e-3
7367		 1e-5
7399		 1e-7
7441		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 8.4 (6)152 (208)16 (13)1.6 (2)∞∞∞7520/15
uBBDE-N Vodopija 14 (18)714 (712)96 (85)6.7 (4)9.1 (4)14 (3)18 (10)11/15
uBBDE-best Vodopija 14 (12)337 (237)28 (33)1.5 (2)1.9 (2)1.9 (2)2.0 (2)15/15
uBBDE-ttb Vodopija 13 (18)397 (258)48 (35)2.9 (3)3.9 (3)4.3 (3)4.6 (2)15/15
uBBDE Vodopija 7.9 (8)958 (756)149 (135)11 (8)15 (12)25 (16)47 (41)4/15
uDE-best Vodopija 14 (10)269 (158)46 (34)3.9 (4)4.3 (4)4.4 (4)4.4 (4)15/15
uDE-rand Vodopija 11 (8)563 (409)79 (47)4.4 (3)5.9 (6)6.1 (6)6.1 (6)15/15
uDE-ttb Vodopija 11 (10)369 (292)36 (37)2.7 (2)13 (21)13 (11)13 (16)10/15
BBDE-N Vodopija 7.5 (8)402 (414)83 (51)5.5 (3)7.6 (2)12 (4)14 (3)15/15
BBDE-best Vodopija 10 (10)328 (504)21 (14)1.0 (1.0)1.7 (1)1.9 (1)1.9 (1)15/15
BBDE-ttb Vodopija 13 (9)521 (380)69 (63)5.7 (4)7.9 (11)8.5 (11)9.0 (16)13/15
BBDE Vodopija 10 (6)276 (256)60 (38)5.6 (3)8.3 (3)13 (6)17 (12)12/15
BFGS-M-17 Blelly 111 (138)1384 (1704)115 (106)17 (28)∞∞∞71200/15
BFGS-P-09 Blelly 542 (789)5185 (8105)648 (703)128 (108)∞∞∞6e40/15
BFGS-P-Instances Blelly 1086 (1369)3732 (4671)535 (947)131 (135)∞∞∞6e40/15
BFGS-P-StPt Blelly 1 (0)1 (0)0.20 (0.1)★4↑060 (71)∞∞∞6e40/15
BFGS-P-range Blelly 807 (986)1940 (2064)284 (325)35 (47)100 (126)100 (76)∞5e40/15
CMAES-APOP-Var1 Nguyen 1 (0)1 (0)28 (25)1.0 (0.7)1.3 (0.7)1.8 (1)2.0 (1)15/15
CMAES-APOP-Var2 Nguyen 1 (0)1 (0)42 (30)1.5 (1)2.5 (2)3.1 (3)3.3 (3)15/15
CMAES-APOP-Var3 Nguyen 1 (0)1 (0)31 (22)1.6 (0.8)2.2 (0.7)2.7 (1)3.0 (1)15/15
DE-best Vodopija 10 (13)321 (222)22 (30)1.5 (1)1.7 (1)1.8 (1)1.8 (1)15/15
DE-rand Vodopija 15 (18)247 (216)58 (54)3.8 (3)4.2 (3)4.5 (3)4.6 (3)15/15
DE-ttb Vodopija 18 (20)215 (173)31 (24)2.4 (3)5.4 (10)5.8 (11)5.9 (10)13/15
PSA-CMA-ES Nishida 8.1 (9)199 (174)1887 (1935)52 (129)54 (118)54 (118)54 (117)15/15
PSA-CMA-ESwRS Nishida 13 (14)128 (112)357 (27)30 (41)106 (174)105 (173)105 (172)14/15

Δ fopt
f20, 3-D		 1e1
8.0		 1e0
385		 1e-1
2291		 1e-2
2398		 1e-3
2481		 1e-5
2573		 1e-7
2776		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.8 (0.6)1.4 (1)2.2 (2)2.1 (3)2.1 (2)2.0 (3)1.9 (2)2/15
uBBDE-N Vodopija 3.9 (6)4.8 (3)3.2 (2)5.5 (2)6.9 (2)10 (2)12 (2)15/15
uBBDE-best Vodopija 2.7 (2)2.6 (5)4.4 (4)4.2 (4)4.2 (4)4.1 (4)3.9 (4)15/15
uBBDE-ttb Vodopija 6.0 (4)3.4 (3)5.3 (8)5.4 (7)5.5 (7)5.7 (7)5.5 (6)15/15
uBBDE Vodopija 2.4 (2)8.4 (4)4.5 (2)6.8 (2)8.7 (0.9)11 (2)13 (1)15/15
uDE-best Vodopija 4.0 (4)1.6 (0.9)1.5 (1)1.6 (1)1.6 (1)1.7 (1)1.7 (1)15/15
uDE-rand Vodopija 6.6 (10)4.1 (2)1.6 (0.7)2.0 (0.6)2.1 (0.5)2.3 (0.5)2.5 (0.4)15/15
uDE-ttb Vodopija 4.2 (6)2.1 (1)1.5 (1)1.7 (1)1.8 (1)2.0 (1)2.0 (1)15/15
BBDE-N Vodopija 4.0 (3)4.7 (3)3.3 (2)4.9 (1)7.3 (1)9.3 (1)11 (1)15/15
BBDE-best Vodopija 3.9 (4)2.0 (3)3.4 (6)3.3 (5)3.2 (5)3.2 (5)3.1 (5)15/15
BBDE-ttb Vodopija 5.1 (7)3.7 (3)2.3 (1)2.8 (1)3.3 (1)4.2 (1)4.9 (1)15/15
BBDE Vodopija 4.5 (6)3.8 (3)4.2 (2)6.3 (1)8.0 (2)11 (1)12 (2)15/15
BFGS-M-17 Blelly 2.3 (1)1.9 (2)6.8 (7)6.5 (5)6.3 (7)6.1 (7)24 (25)1/15
BFGS-P-09 Blelly 5.5 (3)4.6 (5)2.2 (2)2.1 (2)2.1 (2)2.0 (2)1.9 (2)14/15
BFGS-P-Instances Blelly 5.5 (3)2.6 (4)1.9 (1)1.8 (1)1.8 (1)1.7 (1)1.6 (1)15/15
BFGS-P-StPt Blelly 15 (0)3.4 (4)3.0 (3)2.9 (3)2.8 (3)2.7 (3)2.5 (3)14/15
BFGS-P-range Blelly 5.9 (4)4.4 (4)7.0 (5)6.7 (8)6.5 (8)6.3 (4)5.8 (7)10/15
CMAES-APOP-Var1 Nguyen 1.3 (1)5.7 (5)4.4 (3)5.1 (3)5.3 (3)5.7 (3)5.6 (3)15/15
CMAES-APOP-Var2 Nguyen 1.2 (1)5.7 (4)4.0 (2)5.3 (4)5.6 (3)5.9 (3)5.9 (3)15/15
CMAES-APOP-Var3 Nguyen 2.1 (2)4.8 (5)4.1 (4)4.8 (3)5.3 (4)5.6 (4)5.5 (4)15/15
DE-best Vodopija 4.4 (4)1.6 (0.7)2.2 (2)2.2 (2)2.2 (2)2.2 (2)2.2 (2)15/15
DE-rand Vodopija 5.5 (4)3.0 (2)1.8 (0.8)2.1 (0.6)2.2 (0.6)2.5 (0.6)2.5 (0.5)15/15
DE-ttb Vodopija 6.1 (6)2.4 (1)2.1 (2)2.2 (2)2.3 (2)2.5 (2)2.5 (2)15/15
PSA-CMA-ES Nishida 3.5 (3)2.3 (2)5.1 (6)5.0 (6)4.9 (6)4.8 (6)4.5 (5)15/15
PSA-CMA-ESwRS Nishida 2.4 (2)3.2 (3)4.2 (3)4.2 (3)4.1 (3)4.1 (3)3.8 (3)15/15

Δ fopt
f21, 3-D		 1e1
6.0		 1e0
184		 1e-1
425		 1e-2
439		 1e-3
458		 1e-5
469		 1e-7
482		 #succ
14/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.7 (1)3.3 (6)3.0 (4)2.9 (4)2.8 (3)2.9 (3)2.9 (3)6/15
uBBDE-N Vodopija 0.78 (1)4.1 (6)3.0 (3)5.6 (5)9.2 (4)17 (7)25 (7)15/15
uBBDE-best Vodopija 0.89 (0.8)6.6 (10)4.9 (6)4.9 (6)4.7 (6)5.0 (6)5.1 (6)15/15
uBBDE-ttb Vodopija 1.5 (2)2.4 (2)2.4 (1)3.4 (0.9)4.1 (1)5.2 (1)5.9 (1.0)15/15
uBBDE Vodopija 1.3 (2)4.0 (7)4.1 (3)7.1 (4)9.1 (6)18 (9)26 (7)15/15
uDE-best Vodopija 1.0 (0.9)2.8 (2)2.6 (4)2.9 (4)2.9 (3)3.4 (3)3.7 (3)15/15
uDE-rand Vodopija 1.6 (2)2.9 (3)3.7 (2)4.5 (2)5.5 (1)6.5 (2)7.3 (2)15/15
uDE-ttb Vodopija 1.8 (2)1.1 (2)1.2 (0.7)1.7 (0.8)2.2 (0.9)3.0 (0.7)3.5 (0.7)15/15
BBDE-N Vodopija 1.6 (2)1.8 (2)2.6 (1)4.8 (3)6.9 (3)12 (3)17 (3)15/15
BBDE-best Vodopija 1.2 (2)0.85 (0.7)0.81 (0.3)↑11.0 (0.3)1.1 (0.3)1.3 (0.3)1.6 (0.3)15/15
BBDE-ttb Vodopija 1.9 (2)1.5 (1)1.6 (1)2.5 (1)3.5 (1)6.3 (2)8.1 (2)15/15
BBDE Vodopija 1.7 (3)2.0 (1)1.9 (1)3.8 (3)7.6 (4)13 (5)19 (3)15/15
BFGS-M-17 Blelly 5.4 (10)3.7 (4)3.8 (5)3.7 (5)3.6 (4)3.7 (4)15 (14)5/15
BFGS-P-09 Blelly 5.3 (3)4.4 (5)4.7 (8)4.6 (8)4.4 (8)4.4 (7)14 (16)6/15
BFGS-P-Instances Blelly 7.9 (8)5.0 (8)6.1 (5)5.9 (5)5.7 (5)5.6 (4)30 (34)5/15
BFGS-P-StPt Blelly 6.6 (7)2.8 (4)5.2 (7)5.1 (6)4.9 (6)5.3 (7)16 (18)6/15
BFGS-P-range Blelly 4.7 (3)1.6 (2)1.9 (3)1.9 (2)1.9 (2)2.2 (3)12 (15)10/15
CMAES-APOP-Var1 Nguyen 1.2 (1)2.8 (3)7.7 (8)14 (30)14 (30)14 (31)14 (31)15/15
CMAES-APOP-Var2 Nguyen 1.2 (1)5.6 (6)8.8 (18)10 (24)11 (24)12 (25)12 (25)15/15
CMAES-APOP-Var3 Nguyen 0.91 (0.8)3.0 (3)2.1 (2)2.8 (2)3.6 (3)4.4 (5)5.0 (5)15/15
DE-best Vodopija 0.83 (0.8)1.1 (0.8)0.80 (0.4)1.0 (0.6)1.4 (0.8)1.9 (0.5)2.4 (0.5)15/15
DE-rand Vodopija 1.3 (2)1.9 (1)3.0 (2)3.9 (1)4.4 (1)5.6 (2)6.4 (1)15/15
DE-ttb Vodopija 1.2 (1)2.4 (2)2.2 (0.8)2.7 (1)3.0 (2)3.9 (1)4.6 (1)15/15
PSA-CMA-ES Nishida 1.6 (2)6.0 (11)7.3 (12)7.3 (11)8.8 (15)8.9 (15)8.8 (15)15/15
PSA-CMA-ESwRS Nishida 2.9 (3)13 (14)16 (19)16 (18)15 (17)15 (17)15 (16)15/15

Δ fopt
f22, 3-D		 1e1
18		 1e0
170		 1e-1
354		 1e-2
362		 1e-3
384		 1e-5
401		 1e-7
414		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 6.5 (13)3.4 (4)6.9 (7)14 (17)14 (17)13 (17)13 (17)2/15
uBBDE-N Vodopija 1.9 (2)3.7 (3)4.5 (3)8.4 (4)11 (6)19 (6)26 (6)15/15
uBBDE-best Vodopija 2.0 (3)6.9 (11)5.9 (8)6.1 (8)5.9 (7)5.9 (7)6.0 (7)15/15
uBBDE-ttb Vodopija 1.9 (1)2.0 (2)5.6 (11)7.0 (11)7.2 (11)8.5 (10)9.4 (9)15/15
uBBDE Vodopija 2.5 (3)5.9 (8)5.4 (4)11 (9)15 (8)23 (10)34 (11)15/15
uDE-best Vodopija 1.7 (1)4.0 (9)5.2 (5)5.6 (4)5.6 (4)6.1 (4)6.6 (4)15/15
uDE-rand Vodopija 1.4 (1)4.0 (4)6.5 (9)8.0 (9)8.2 (8)10 (8)11 (8)15/15
uDE-ttb Vodopija 0.92 (0.9)3.9 (2)3.1 (1)4.2 (1)4.5 (1)6.1 (2)7.4 (2)15/15
BBDE-N Vodopija 1.7 (2)2.3 (2)2.6 (2)5.9 (2)7.4 (3)14 (5)19 (6)15/15
BBDE-best Vodopija 1.5 (1)1.7 (1.0)4.1 (5)4.3 (4)4.2 (4)4.3 (4)4.5 (4)15/15
BBDE-ttb Vodopija 1.2 (2)1.8 (2)2.0 (1)3.4 (2)4.2 (3)7.2 (2)10 (4)15/15
BBDE Vodopija 1.6 (2)2.4 (2)4.6 (2)6.3 (3)8.9 (5)15 (5)21 (3)15/15
BFGS-M-17 Blelly 2.9 (3)2.2 (2)1.7 (1)1.7 (1)1.7 (1)2.6 (2)12 (17)3/15
BFGS-P-09 Blelly 8.2 (12)3.4 (3)2.5 (2)2.5 (2)2.4 (2)3.3 (3)30 (30)3/15
BFGS-P-Instances Blelly 9.2 (8)2.9 (3)3.8 (4)3.7 (3)3.5 (3)3.8 (3)16 (36)4/15
BFGS-P-StPt Blelly 2.6 (2)3.5 (4)3.7 (3)3.6 (3)3.4 (3)5.1 (5)16 (25)2/15
BFGS-P-range Blelly 4.4 (3)2.2 (2)2.3 (3)2.3 (3)2.2 (3)3.6 (3)25 (41)0/15
CMAES-APOP-Var1 Nguyen 1.2 (1)2.2 (4)16 (47)43 (98)85 (165)117 (249)124 (241)15/15
CMAES-APOP-Var2 Nguyen 1.3 (1)2.8 (5)16 (35)43 (89)137 (107)266 (441)305 (494)14/15
CMAES-APOP-Var3 Nguyen 1.9 (3)3.0 (4)14 (20)17 (21)49 (45)59 (45)58 (44)15/15
DE-best Vodopija 1.4 (1)1.6 (1)4.1 (6)4.5 (7)4.5 (6)5.0 (6)5.5 (6)15/15
DE-rand Vodopija 0.68 (1.0)1.5 (2)2.6 (2)4.5 (2)5.8 (1)7.0 (2)8.2 (2)15/15
DE-ttb Vodopija 1.5 (1)1.5 (2)2.0 (2)2.9 (2)3.7 (2)4.8 (3)5.7 (3)15/15
PSA-CMA-ES Nishida 1.9 (2)10 (13)15 (16)16 (22)16 (21)16 (20)16 (19)15/15
PSA-CMA-ESwRS Nishida 2.1 (2)3.6 (3)8.9 (13)13 (20)13 (19)13 (18)13 (18)15/15

Δ fopt
f23, 3-D		 1e1
3.0		 1e0
407		 1e-1
906		 1e-2
1215		 1e-3
2214		 1e-5
2293		 1e-7
2393		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 3.6 (4)0.52 (0.6)1.7 (1)★21.3 (1)★20.72 (0.5)★20.85 (1)★20.83 (0.8)★24/15
uBBDE-N Vodopija 3.3 (4)26 (22)∞∞∞∞∞2e50/15
uBBDE-best Vodopija 6.1 (6)15 (16)21 (15)32 (26)23 (31)23 (30)22 (28)14/15
uBBDE-ttb Vodopija 2.8 (2)30 (28)2475 (2815)∞∞∞∞2e50/15
uBBDE Vodopija 3.3 (3)45 (43)∞∞∞∞∞2e50/15
uDE-best Vodopija 3.1 (4)15 (28)40 (41)30 (31)17 (17)17 (16)17 (16)15/15
uDE-rand Vodopija 3.0 (2)25 (20)226 (195)180 (105)100 (94)97 (78)94 (59)9/15
uDE-ttb Vodopija 4.0 (6)24 (17)∞∞∞∞∞2e50/15
BBDE-N Vodopija 3.3 (3)15 (13)∞∞∞∞∞2e50/15
BBDE-best Vodopija 3.4 (5)13 (15)130 (173)160 (216)104 (110)101 (75)97 (96)7/15
BBDE-ttb Vodopija 4.0 (4)12 (12)352 (396)∞∞∞∞2e50/15
BBDE Vodopija 3.4 (4)15 (17)∞∞∞∞∞2e50/15
BFGS-M-17 Blelly 36 (43)12 (9)∞∞∞∞∞1e40/15
BFGS-P-09 Blelly 65 (122)69 (59)747 (591)∞∞∞∞9e40/15
BFGS-P-Instances Blelly 136 (260)42 (65)1596 (1278)∞∞∞∞1e50/15
BFGS-P-StPt Blelly 126 (193)75 (96)754 (999)∞∞∞∞9e40/15
BFGS-P-range Blelly 138 (13)45 (44)1619 (1427)1208 (1433)∞∞∞9e40/15
CMAES-APOP-Var1 Nguyen 4.2 (4)18 (30)2960 (3274)6918 (8644)3796 (6573)3666 (4581)3513 (2947)1/15
CMAES-APOP-Var2 Nguyen 3.7 (4)12 (12)2651 (3147)1977 (2223)1085 (2101)1048 (1374)1004 (1003)3/15
CMAES-APOP-Var3 Nguyen 4.2 (5)13 (19)1823 (2650)1360 (1853)746 (746)721 (589)691 (1505)4/15
DE-best Vodopija 3.2 (4)15 (19)46 (46)35 (34)19 (19)19 (18)19 (17)15/15
DE-rand Vodopija 2.8 (3)18 (24)297 (287)266 (320)147 (151)143 (167)138 (169)6/15
DE-ttb Vodopija 3.8 (4)12 (18)2475 (1863)∞∞∞∞2e50/15
PSA-CMA-ES Nishida 2.6 (2)17 (19)6950 (6896)∞∞∞∞3e60/15
PSA-CMA-ESwRS Nishida 6.1 (6)16 (23)5176 (7088)5996 (6945)3290 (4124)3177 (2821)3048 (3611)5/15

Δ fopt
f24, 3-D		 1e1
97		 1e0
10391		 1e-1
1.0e5		 1e-2
3.6e5		 1e-3
3.6e5		 1e-5
3.6e5		 1e-7
3.6e5		 #succ
2/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.2 (1)1.0 (1)∞∞∞∞∞7530/15
uBBDE-N Vodopija 7.9 (4)5.1 (4)22 (28)∞∞∞∞2e50/15
uBBDE-best Vodopija 5.0 (4)3.3 (4)2.7 (4)2.8 (4)2.8 (5)2.8 (4)2.8 (3)2/15
uBBDE-ttb Vodopija 5.5 (5)24 (22)2.7 (2)0.80 (1)0.81 (0.7)0.82 (0.8)0.83 (0.8)6/15
uBBDE Vodopija 11 (5)5.1 (3)11 (12)∞∞∞∞2e50/15
uDE-best Vodopija 4.0 (3)4.1 (4)7.0 (12)6.4 (6)6.4 (4)6.4 (7)6.4 (7)1/15
uDE-rand Vodopija 5.6 (4)4.2 (3)2.2 (2)2.1 (2)2.1 (2)2.1 (2)2.1 (2)3/15
uDE-ttb Vodopija 4.7 (4)27 (31)3.0 (3)0.89 (1)0.90 (2)0.91 (0.8)0.92 (0.7)7/15
BBDE-N Vodopija 5.4 (4)4.7 (3)7.0 (9)∞∞∞∞2e50/15
BBDE-best Vodopija 3.6 (3)3.4 (3)22 (25)∞∞∞∞2e50/15
BBDE-ttb Vodopija 5.1 (4)2.8 (2)0.94 (0.8)0.34 (0.2)0.37 (0.2)0.38 (0.2)0.41 (0.2)12/15
BBDE Vodopija 5.5 (3)5.8 (3)22 (20)∞∞∞∞2e50/15
BFGS-M-17 Blelly 5.8 (6)3.3 (4)∞∞∞∞∞75480/15
BFGS-P-09 Blelly 15 (15)∞∞∞∞∞∞2e40/15
BFGS-P-Instances Blelly 21 (29)14 (17)∞∞∞∞∞2e40/15
BFGS-P-StPt Blelly 11 (9)25 (17)∞∞∞∞∞2e40/15
BFGS-P-range Blelly 9.5 (11)22 (26)∞∞∞∞∞1e40/15
CMAES-APOP-Var1 Nguyen 1.4 (0.7)86 (144)18 (17)5.3 (5)12 (14)12 (15)12 (13)2/15
CMAES-APOP-Var2 Nguyen 2.4 (1)64 (68)12 (10)7.7 (10)12 (11)25 (23)25 (20)1/15
CMAES-APOP-Var3 Nguyen 3.8 (7)97 (93)41 (36)24 (20)25 (28)25 (25)25 (24)1/15
DE-best Vodopija 4.7 (3)3.4 (3)2.5 (3)3.0 (4)3.0 (2)3.1 (3)3.1 (4)2/15
DE-rand Vodopija 4.7 (5)8.0 (8)3.3 (4)1.5 (2)1.5 (3)1.5 (1)1.5 (2)4/15
DE-ttb Vodopija 2.8 (4)15 (12)1.8 (2)0.54 (0.7)0.55 (0.5)0.56 (0.6)0.57 (0.7)9/15
PSA-CMA-ES Nishida 2.1 (2)1895 (1678)193 (228)57 (85)57 (63)57 (54)57 (57)2/15
PSA-CMA-ESwRS Nishida 2.2 (2)215 (217)34 (20)15 (14)15 (18)18 (27)18 (14)6/15

Previous dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D		 1e1
11		 1e0
12		 1e-1
12		 1e-2
12		 1e-3
12		 1e-5
12		 1e-7
12		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.9 (0.2)2.8 (0.4)3.6 (0.6)4.6 (0.3)5.6 (0.5)7.4 (0.6)9.5 (0.6)15/15
uBBDE-N Vodopija 11 (18)136 (73)320 (72)559 (61)793 (66)1238 (67)1811 (60)15/15
uBBDE-best Vodopija 5.2 (4)21 (9)44 (8)63 (13)83 (12)124 (12)162 (11)15/15
uBBDE-ttb Vodopija 8.0 (7)57 (22)122 (13)189 (25)249 (15)378 (16)499 (25)15/15
uBBDE Vodopija 12 (18)203 (97)521 (70)799 (140)1148 (101)1769 (108)2460 (91)15/15
uDE-best Vodopija 11 (12)40 (17)75 (20)116 (14)151 (23)227 (33)301 (41)15/15
uDE-rand Vodopija 5.4 (3)92 (42)185 (21)274 (32)364 (45)553 (47)744 (50)15/15
uDE-ttb Vodopija 6.2 (7)46 (14)88 (19)142 (20)185 (26)277 (17)370 (25)15/15
BBDE-N Vodopija 5.1 (5)87 (62)233 (83)420 (116)697 (88)1200 (134)1709 (162)15/15
BBDE-best Vodopija 6.0 (4)19 (6)36 (13)59 (10)86 (15)128 (13)170 (18)15/15
BBDE-ttb Vodopija 7.0 (7)76 (27)211 (72)403 (55)620 (64)1124 (134)1610 (137)15/15
BBDE Vodopija 7.4 (7)108 (48)363 (108)621 (115)998 (104)1602 (120)2236 (100)15/15
BFGS-M-17 Blelly 1.2 (0)1.1 (0)★41.1 (0)★41.1 (0)★41.1 (0)★41.1 (0)★41.4 (0.2)15/15
BFGS-P-09 Blelly 1.5 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.7 (0.6)15/15
BFGS-P-Instances Blelly 1.5 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.6 (0.3)15/15
BFGS-P-StPt Blelly 1.5 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.4 (0.3)15/15
BFGS-P-range Blelly 1.5 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.3 (0)1.8 (0.6)15/15
CMAES-APOP-Var1 Nguyen 1.9 (2)7.5 (2)13 (4)20 (6)27 (6)39 (6)51 (5)15/15
CMAES-APOP-Var2 Nguyen 2.0 (1)7.5 (2)14 (3)21 (4)27 (4)39 (4)52 (6)15/15
CMAES-APOP-Var3 Nguyen 1.7 (1)7.6 (3)14 (5)20 (5)27 (4)40 (5)53 (5)15/15
DE-best Vodopija 4.4 (5)32 (13)67 (28)106 (19)141 (22)221 (35)302 (36)15/15
DE-rand Vodopija 7.2 (7)75 (23)159 (30)251 (42)345 (32)546 (45)721 (39)15/15
DE-ttb Vodopija 5.4 (7)37 (20)87 (14)136 (16)182 (16)267 (28)356 (21)15/15
PSA-CMA-ES Nishida 3.6 (3)16 (6)31 (6)44 (8)54 (9)80 (12)103 (10)15/15
PSA-CMA-ESwRS Nishida 3.4 (3)11 (4)18 (4)24 (5)31 (6)44 (4)56 (3)15/15

Δ fopt
f2, 5-D		 1e1
83		 1e0
87		 1e-1
88		 1e-2
89		 1e-3
90		 1e-5
92		 1e-7
94		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.4 (0.4)1.7 (0.3)1.9 (0.2)2.1 (0.2)2.2 (0.2)2.4 (0.2)2.6 (0.2)15/15
uBBDE-N Vodopija 116 (13)150 (14)189 (16)222 (9)262 (10)327 (23)403 (23)15/15
uBBDE-best Vodopija 17 (4)20 (4)23 (5)25 (4)28 (4)32 (3)37 (6)15/15
uBBDE-ttb Vodopija 35 (4)42 (2)50 (5)58 (3)67 (3)81 (4)96 (4)15/15
uBBDE Vodopija 165 (15)205 (18)244 (22)293 (16)335 (21)415 (18)485 (15)15/15
uDE-best Vodopija 20 (2)25 (3)30 (3)35 (3)39 (3)48 (4)57 (4)15/15
uDE-rand Vodopija 48 (6)58 (8)72 (7)84 (10)97 (8)118 (6)139 (7)15/15
uDE-ttb Vodopija 25 (2)30 (2)35 (5)42 (4)48 (4)59 (4)70 (4)15/15
BBDE-N Vodopija 72 (13)103 (12)140 (11)175 (14)210 (15)284 (14)350 (20)15/15
BBDE-best Vodopija 13 (4)18 (5)20 (4)22 (4)25 (4)30 (4)35 (5)15/15
BBDE-ttb Vodopija 63 (11)90 (11)123 (14)155 (14)187 (16)244 (14)305 (13)15/15
BBDE Vodopija 85 (17)123 (10)161 (17)200 (12)252 (13)323 (11)404 (13)15/15
BFGS-M-17 Blelly 4.7 (2)7.3 (4)8.1 (3)10 (7)12 (8)30 (33)349 (283)2/15
BFGS-P-09 Blelly 2.9 (1.0)2.9 (0.9)3.2 (0.8)3.4 (1)3.5 (1)3.8 (1)4.3 (2)15/15
BFGS-P-Instances Blelly 3.0 (2)3.1 (2)3.2 (2)3.4 (2)3.5 (2)3.8 (2)4.3 (2)15/15
BFGS-P-StPt Blelly 2.5 (1)2.5 (1)2.6 (1)2.8 (1)2.9 (1)3.2 (1)3.4 (1)15/15
BFGS-P-range Blelly 2.2 (0.7)2.4 (0.8)2.6 (0.8)2.7 (0.8)3.0 (1)3.3 (1)3.4 (1)15/15
CMAES-APOP-Var1 Nguyen 13 (3)16 (3)17 (2)18 (1)19 (1)20 (2)21 (1)15/15
CMAES-APOP-Var2 Nguyen 11 (4)16 (2)17 (2)18 (2)19 (2)20 (2)21 (2)15/15
CMAES-APOP-Var3 Nguyen 13 (4)15 (4)18 (1)19 (1)19 (2)21 (1)22 (1)15/15
DE-best Vodopija 17 (2)21 (2)27 (2)31 (3)36 (4)45 (4)55 (6)15/15
DE-rand Vodopija 33 (4)45 (4)57 (6)67 (7)80 (6)102 (4)124 (7)15/15
DE-ttb Vodopija 20 (2)25 (3)32 (3)38 (3)43 (2)55 (4)65 (5)15/15
PSA-CMA-ES Nishida 18 (4)20 (3)22 (3)23 (2)24 (2)27 (2)30 (2)15/15
PSA-CMA-ESwRS Nishida 16 (3)17 (1)18 (1)19 (1)19 (1)21 (1.0)22 (1)15/15

Δ fopt
f3, 5-D		 1e1
716		 1e0
1622		 1e-1
1637		 1e-2
1642		 1e-3
1646		 1e-5
1650		 1e-7
1654		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.34 (0.5)3.4 (3)11 (14)11 (10)11 (15)11 (14)11 (19)1/15
uBBDE-N Vodopija 15 (6)77 (23)105 (18)140 (14)177 (84)446 (455)∞3e50/15
uBBDE-best Vodopija 4.8 (4)104 (83)1121 (887)1118 (1192)1116 (1071)1113 (1415)1111 (990)2/15
uBBDE-ttb Vodopija 5.8 (3)21 (7)68 (85)69 (77)70 (78)71 (88)71 (76)13/15
uBBDE Vodopija 25 (12)89 (21)131 (18)160 (87)239 (121)559 (644)2251 (2494)1/15
uDE-best Vodopija 2.2 (1)4.1 (3)7.0 (6)7.2 (6)7.5 (6)8.0 (6)8.6 (6)15/15
uDE-rand Vodopija 5.5 (2)11 (1)13 (1.0)13 (1)14 (1)15 (1)17 (1)15/15
uDE-ttb Vodopija 2.7 (1)6.4 (1)9.4 (1)10 (2)11 (2)11 (2)12 (2)15/15
BBDE-N Vodopija 13 (4)75 (26)105 (21)124 (23)171 (83)312 (157)1123 (1734)1/15
BBDE-best Vodopija 3.1 (4)106 (118)662 (964)660 (687)658 (1024)657 (746)656 (600)3/15
BBDE-ttb Vodopija 13 (6)28 (11)40 (16)43 (15)46 (14)53 (13)60 (10)15/15
BBDE Vodopija 15 (9)95 (27)123 (24)160 (85)270 (158)369 (381)750 (379)2/15
BFGS-M-17 Blelly 56 (49)∞∞∞∞∞∞2e40/15
BFGS-P-09 Blelly 285 (326)∞∞∞∞∞∞3e40/15
BFGS-P-Instances Blelly 131 (141)∞∞∞∞∞∞3e40/15
BFGS-P-StPt Blelly 97 (132)∞∞∞∞∞∞3e40/15
BFGS-P-range Blelly 98 (185)∞∞∞∞∞∞3e40/15
CMAES-APOP-Var1 Nguyen 1.9 (2)23 (27)114 (106)120 (107)120 (107)121 (107)121 (106)15/15
CMAES-APOP-Var2 Nguyen 1.4 (3)36 (30)126 (131)128 (130)128 (130)129 (129)130 (129)15/15
CMAES-APOP-Var3 Nguyen 1.8 (2)26 (37)110 (112)116 (111)116 (110)117 (110)117 (110)15/15
DE-best Vodopija 2.3 (1)3.5 (0.7)6.9 (6)7.2 (6)7.4 (6)7.9 (6)8.4 (6)15/15
DE-rand Vodopija 4.0 (1)10 (3)12 (2)13 (2)13 (2)15 (2)16 (2)15/15
DE-ttb Vodopija 2.4 (0.7)6.5 (2)8.6 (2)10 (2)10 (2)11 (2)11 (2)15/15
PSA-CMA-ES Nishida 1.4 (0.5)13 (13)84 (107)84 (106)84 (106)84 (106)84 (106)15/15
PSA-CMA-ESwRS Nishida 1.3 (2)17 (18)61 (61)61 (61)61 (61)61 (61)61 (61)15/15

Δ fopt
f4, 5-D		 1e1
809		 1e0
1633		 1e-1
1688		 1e-2
1758		 1e-3
1817		 1e-5
1886		 1e-7
1903		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.1 (2)∞∞∞∞∞∞12560/15
uBBDE-N Vodopija 19 (6)103 (24)202 (116)2133 (3094)∞∞∞3e50/15
uBBDE-best Vodopija 6.6 (9)390 (296)2203 (1946)2115 (2266)2047 (1669)1972 (1810)1955 (2130)1/15
uBBDE-ttb Vodopija 7.3 (4)68 (50)319 (292)308 (334)299 (343)289 (342)288 (224)6/15
uBBDE Vodopija 27 (14)130 (27)362 (339)2123 (1671)∞∞∞3e50/15
uDE-best Vodopija 2.6 (0.8)6.8 (5)12 (9)12 (9)12 (9)12 (8)12 (8)15/15
uDE-rand Vodopija 5.9 (2)13 (2)14 (1)15 (1)15 (1)16 (1)17 (1)15/15
uDE-ttb Vodopija 3.3 (2)9.0 (1)14 (8)14 (7)14 (7)15 (7)15 (7)15/15
BBDE-N Vodopija 16 (9)102 (42)195 (155)408 (396)2058 (3096)∞∞3e50/15
BBDE-best Vodopija 4.7 (5)506 (553)2218 (3060)2131 (2043)2061 (1837)1986 (2270)1969 (1755)1/15
BBDE-ttb Vodopija 11 (6)33 (7)47 (26)49 (25)50 (23)55 (21)61 (20)15/15
BBDE Vodopija 22 (12)116 (23)303 (219)2129 (2489)∞∞∞3e50/15
BFGS-M-17 Blelly 103 (109)∞∞∞∞∞∞2e40/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞3e40/15
BFGS-P-Instances Blelly 567 (863)∞∞∞∞∞∞3e40/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞3e40/15
BFGS-P-range Blelly 165 (100)∞∞∞∞∞∞3e40/15
CMAES-APOP-Var1 Nguyen 3.9 (3)∞∞∞∞∞∞1e60/15
CMAES-APOP-Var2 Nguyen 2.6 (3)∞∞∞∞∞∞1e60/15
CMAES-APOP-Var3 Nguyen 2.9 (4)8575 (8727)∞∞∞∞∞1e60/15
DE-best Vodopija 2.3 (0.6)4.8 (3)27 (23)26 (22)26 (22)25 (21)26 (21)15/15
DE-rand Vodopija 5.0 (2)12 (2)13 (2)14 (2)14 (2)15 (1)16 (1)15/15
DE-ttb Vodopija 3.1 (1)8.2 (1)16 (13)17 (12)17 (12)17 (11)18 (11)15/15
PSA-CMA-ES Nishida 2.1 (1.0)1.3e4 (2e4)∞∞∞∞∞5e60/15
PSA-CMA-ESwRS Nishida 2.2 (2)1.3e4 (1e4)∞∞∞∞∞5e60/15

Δ fopt
f5, 5-D		 1e1
10		 1e0
10		 1e-1
10		 1e-2
10		 1e-3
10		 1e-5
10		 1e-7
10		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.4 (0.2)3.7 (1)4.2 (1)4.3 (2)4.3 (2)4.3 (2)4.3 (2)15/15
uBBDE-N Vodopija 29 (20)38 (23)39 (23)39 (23)39 (23)39 (23)39 (23)15/15
uBBDE-best Vodopija 8.8 (1)10 (1)10 (1)10 (1)10 (1)10 (1)10 (1)15/15
uBBDE-ttb Vodopija 10 (4)11 (4)11 (4)11 (4)11 (4)11 (4)11 (4)15/15
uBBDE Vodopija 17 (10)24 (11)24 (11)24 (11)24 (11)24 (11)24 (11)15/15
uDE-best Vodopija 10 (3)12 (5)13 (4)13 (4)13 (4)13 (4)13 (4)15/15
uDE-rand Vodopija 24 (13)34 (13)36 (13)37 (16)37 (16)37 (16)37 (16)15/15
uDE-ttb Vodopija 13 (6)18 (7)18 (7)18 (7)18 (7)18 (7)18 (7)15/15
BBDE-N Vodopija 266 (95)1381 (300)3024 (248)4755 (277)6514 (292)1.0e4 (544)1.4e4 (389)15/15
BBDE-best Vodopija 50 (17)172 (54)352 (90)547 (140)759 (231)1702 (1657)2509 (1880)15/15
BBDE-ttb Vodopija 113 (65)649 (100)1534 (249)2642 (239)3876 (273)6725 (431)9769 (582)15/15
BBDE Vodopija 317 (120)2070 (267)4431 (458)6968 (343)9369 (418)1.4e4 (630)1.9e4 (519)15/15
BFGS-M-17 Blelly 2.1 (0.6)2.9 (0.9)3.0 (0.6)3.0 (0.6)3.0 (0.6)3.0 (0.6)3.0 (0.6)15/15
BFGS-P-09 Blelly 1.5 (0.7)2.9 (0.7)3.1 (0.7)3.1 (0.7)3.1 (0.7)3.1 (0.7)3.1 (0.7)15/15
BFGS-P-Instances Blelly 1.6 (0.7)2.5 (1)2.6 (1)2.6 (1)2.6 (1)2.6 (1)2.6 (1)15/15
BFGS-P-StPt Blelly 1.6 (0)2.3 (0)3.0 (0)3.0 (0)3.0 (0)3.0 (0)3.0 (0)15/15
BFGS-P-range Blelly 1.7 (0.3)2.6 (1)2.7 (0.7)2.8 (0.7)2.8 (0.7)2.8 (0.7)2.8 (0.7)15/15
CMAES-APOP-Var1 Nguyen 4.6 (2)6.3 (3)6.5 (3)6.5 (3)6.5 (3)6.5 (3)6.5 (3)15/15
CMAES-APOP-Var2 Nguyen 4.1 (1)5.4 (2)5.6 (2)5.6 (2)5.6 (2)5.6 (2)5.6 (2)15/15
CMAES-APOP-Var3 Nguyen 4.3 (1)5.9 (1)6.0 (1)6.1 (1)6.1 (1)6.1 (1)6.1 (1)15/15
DE-best Vodopija 53 (17)217 (40)439 (45)687 (49)910 (80)1379 (87)1840 (92)15/15
DE-rand Vodopija 118 (48)442 (62)840 (73)1224 (98)1628 (73)2377 (95)3135 (112)15/15
DE-ttb Vodopija 71 (19)240 (33)420 (40)627 (46)826 (71)1207 (85)1627 (96)15/15
PSA-CMA-ES Nishida 4.6 (2)6.7 (4)7.0 (4)7.0 (4)7.0 (4)7.0 (4)7.0 (4)15/15
PSA-CMA-ESwRS Nishida 4.2 (2)5.7 (2)6.0 (2)6.1 (2)6.1 (2)6.1 (2)6.1 (2)15/15

Δ fopt
f6, 5-D		 1e1
114		 1e0
214		 1e-1
281		 1e-2
404		 1e-3
580		 1e-5
1038		 1e-7
1332		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.2 (3)7.7 (5)14 (13)∞∞∞∞12510/15
uBBDE-N Vodopija 40 (17)52 (13)65 (14)65 (8)57 (6)46 (4)47 (3)15/15
uBBDE-best Vodopija 3.8 (2)4.7 (1)5.2 (2)5.4 (0.6)4.8 (0.6)3.8 (0.3)3.9 (0.4)15/15
uBBDE-ttb Vodopija 15 (6)15 (4)16 (3)14 (1)12 (1)9.2 (0.6)9.3 (0.7)15/15
uBBDE Vodopija 93 (53)100 (21)107 (17)96 (12)83 (9)62 (3)62 (4)15/15
uDE-best Vodopija 7.9 (3)10 (3)14 (3)14 (2)13 (2)10 (1)11 (1)15/15
uDE-rand Vodopija 27 (10)29 (3)32 (4)29 (3)26 (2)20 (1)20 (0.9)15/15
uDE-ttb Vodopija 8.8 (3)11 (2)13 (2)12 (1)11 (0.9)8.8 (0.8)9.0 (0.6)15/15
BBDE-N Vodopija 14 (10)25 (7)42 (5)44 (4)41 (5)37 (2)39 (2)15/15
BBDE-best Vodopija 3.1 (1)4.0 (1)4.7 (2)5.0 (2)4.6 (1)3.6 (0.7)3.6 (0.5)15/15
BBDE-ttb Vodopija 12 (5)19 (6)28 (7)33 (3)32 (3)29 (3)32 (3)15/15
BBDE Vodopija 16 (11)38 (11)60 (7)63 (6)60 (3)49 (3)52 (2)15/15
BFGS-M-17 Blelly 2.8 (2)2.9 (0.6)3.6 (2)3.0 (1)4.4 (5)39 (38)608 (1061)1/15
BFGS-P-09 Blelly 4.2 (2)3.3 (2)3.5 (1)3.1 (1)2.6 (1)2.1 (0.8)5.6 (4)15/15
BFGS-P-Instances Blelly 3.9 (2)3.4 (2)3.4 (2)3.1 (1)2.8 (1)2.6 (1)6.2 (6)15/15
BFGS-P-StPt Blelly 3.7 (3)2.5 (1)2.9 (2)2.5 (2)2.1 (0.9)1.6 (0.6)6.8 (8)15/15
BFGS-P-range Blelly 4.6 (3)3.0 (2)3.2 (3)3.0 (2)2.7 (1)2.1 (0.9)5.1 (6)14/15
CMAES-APOP-Var1 Nguyen 1.7 (0.9)1.8 (0.6)2.0 (0.6)1.8 (0.3)1.5 (0.2)1.2 (0.2)1.2 (0.2)15/15
CMAES-APOP-Var2 Nguyen 1.9 (0.6)1.8 (0.4)2.1 (0.4)1.9 (0.2)1.6 (0.2)1.2 (0.1)1.2 (0.1)15/15
CMAES-APOP-Var3 Nguyen 1.9 (0.7)1.8 (0.4)1.9 (0.4)1.8 (0.2)1.6 (0.2)1.2 (0.2)1.2 (0.2)15/15
DE-best Vodopija 4.9 (2)7.9 (2)12 (2)12 (2)12 (1)10 (1)10 (0.8)15/15
DE-rand Vodopija 11 (6)19 (3)25 (3)24 (2)22 (1)17 (1)18 (1)15/15
DE-ttb Vodopija 5.7 (2)8.2 (3)10 (2)11 (1)10 (1.0)8.3 (0.7)8.7 (0.5)15/15
PSA-CMA-ES Nishida 5.2 (2)5.5 (2)6.4 (1)6.0 (1)5.2 (0.7)4.1 (0.4)4.1 (0.4)15/15
PSA-CMA-ESwRS Nishida 2.6 (1.0)2.2 (0.6)2.2 (0.4)2.0 (0.4)1.7 (0.3)1.3 (0.2)1.3 (0.2)15/15

Δ fopt
f7, 5-D		 1e1
24		 1e0
324		 1e-1
1171		 1e-2
1451		 1e-3
1572		 1e-5
1572		 1e-7
1597		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.5 (0.3)0.75 (0.9)0.58 (0.7)0.63 (0.7)0.68 (0.8)0.68 (0.7)0.85 (1)8/15
uBBDE-N Vodopija 31 (24)10 (5)6.3 (2)10 (2)11 (2)11 (2)11 (3)15/15
uBBDE-best Vodopija 9.0 (6)2.3 (3)1.8 (2)2.3 (2)2.8 (3)2.8 (3)2.8 (2)15/15
uBBDE-ttb Vodopija 17 (7)4.0 (0.6)1.9 (0.3)2.4 (0.3)2.3 (0.2)2.3 (0.2)2.5 (0.3)15/15
uBBDE Vodopija 37 (34)17 (5)10 (2)14 (2)15 (2)15 (2)16 (2)15/15
uDE-best Vodopija 18 (8)3.7 (2)2.0 (0.6)2.4 (0.5)2.9 (0.4)2.9 (0.4)3.0 (0.6)15/15
uDE-rand Vodopija 29 (16)10 (3)5.7 (2)7.2 (1)7.3 (1)7.3 (1)7.7 (1)15/15
uDE-ttb Vodopija 16 (12)3.8 (1)2.4 (0.5)2.9 (0.5)2.9 (0.5)2.9 (0.5)3.2 (0.5)15/15
BBDE-N Vodopija 16 (15)8.4 (2)5.4 (1)9.3 (3)9.4 (2)9.4 (2)11 (2)15/15
BBDE-best Vodopija 6.2 (3)2.1 (0.9)1.7 (2)2.5 (3)2.4 (3)2.4 (3)2.4 (2)15/15
BBDE-ttb Vodopija 20 (10)7.6 (3)5.3 (2)7.2 (2)7.2 (2)7.2 (2)8.6 (2)15/15
BBDE Vodopija 20 (20)11 (3)6.9 (2)12 (3)13 (2)13 (2)14 (2)15/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞6060/15
BFGS-P-09 Blelly 227 (192)∞∞∞∞∞∞8000/15
BFGS-P-Instances Blelly 221 (317)∞∞∞∞∞∞8000/15
BFGS-P-StPt Blelly 220 (214)∞∞∞∞∞∞8000/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞8000/15
CMAES-APOP-Var1 Nguyen 3.1 (2)1.7 (2)1.4 (1.0)1.6 (0.9)1.6 (0.9)1.6 (0.9)1.7 (0.9)15/15
CMAES-APOP-Var2 Nguyen 2.7 (2)1.6 (2)1.5 (0.9)1.6 (0.9)1.9 (0.1)1.9 (0.1)1.9 (0.1)15/15
CMAES-APOP-Var3 Nguyen 3.1 (2)2.3 (2)1.5 (0.9)1.9 (0.3)1.8 (0.2)1.8 (0.2)1.9 (0.2)15/15
DE-best Vodopija 11 (7)2.8 (1)1.9 (0.5)2.2 (0.3)2.2 (0.3)2.2 (0.3)2.4 (0.3)15/15
DE-rand Vodopija 19 (14)6.9 (2)5.1 (1)6.5 (1)6.4 (1)6.4 (1)6.9 (1)15/15
DE-ttb Vodopija 11 (7)3.6 (1)1.9 (0.6)2.7 (0.6)2.8 (0.7)2.8 (0.7)3.0 (0.6)15/15
PSA-CMA-ES Nishida 6.7 (5)1.5 (0.5)0.63 (0.1)↑00.69 (0.2)↑00.67 (0.2)↑00.67 (0.2)↑00.66 (0.2)↑015/15
PSA-CMA-ESwRS Nishida 4.1 (3)1.9 (1)1.1 (0.3)1.0 (0.3)1.0 (0.3)1.0 (0.3)0.99 (0.3)15/15

Δ fopt
f8, 5-D		 1e1
73		 1e0
273		 1e-1
336		 1e-2
372		 1e-3
391		 1e-5
410		 1e-7
422		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.2 (0.4)0.80 (0.7)0.85 (0.6)0.86 (0.5)0.86 (0.5)0.89 (0.5)0.92 (0.5)15/15
uBBDE-N Vodopija 54 (21)49 (13)81 (19)104 (14)122 (9)151 (10)181 (12)15/15
uBBDE-best Vodopija 7.5 (2)11 (18)11 (14)11 (12)11 (12)11 (11)12 (11)15/15
uBBDE-ttb Vodopija 21 (8)19 (21)20 (18)20 (16)21 (15)23 (15)26 (15)15/15
uBBDE Vodopija 109 (41)90 (28)132 (14)146 (19)168 (20)199 (22)227 (34)15/15
uDE-best Vodopija 16 (4)14 (2)16 (2)18 (2)20 (3)25 (2)31 (3)15/15
uDE-rand Vodopija 44 (16)34 (4)44 (4)48 (3)54 (5)69 (5)86 (5)15/15
uDE-ttb Vodopija 18 (5)13 (3)16 (4)19 (3)22 (3)28 (2)35 (2)15/15
BBDE-N Vodopija 45 (13)42 (12)69 (16)90 (14)104 (14)132 (16)156 (20)15/15
BBDE-best Vodopija 7.5 (2)9.0 (13)9.2 (10)9.4 (9)10 (9)10 (8)11 (8)15/15
BBDE-ttb Vodopija 39 (11)32 (11)42 (8)50 (6)55 (5)73 (5)92 (10)15/15
BBDE Vodopija 66 (23)59 (18)95 (25)117 (17)134 (20)164 (15)190 (19)15/15
BFGS-M-17 Blelly 1.9 (1.0)1.3 (0.7)1.3 (0.6)1.2 (0.5)1.2 (0.5)1.4 (0.9)4.8 (3)15/15
BFGS-P-09 Blelly 3.7 (2)2.4 (3)2.1 (2)2.0 (2)2.0 (2)1.9 (2)2.0 (2)15/15
BFGS-P-Instances Blelly 3.4 (1)1.9 (1)1.8 (0.9)1.7 (0.8)1.6 (0.8)1.6 (0.8)1.7 (1)15/15
BFGS-P-StPt Blelly 1.9 (0.4)1.0 (0.4)1.1 (0.3)1.1 (0.3)1.1 (0.3)1.1 (0.2)1.1 (0.2)15/15
BFGS-P-range Blelly 3.6 (2)2.2 (1)2.0 (1)1.9 (0.9)1.9 (0.9)1.8 (0.8)2.0 (1)15/15
CMAES-APOP-Var1 Nguyen 3.1 (0.8)3.4 (1)4.1 (1)4.4 (0.8)4.5 (0.8)4.8 (0.8)5.0 (0.7)15/15
CMAES-APOP-Var2 Nguyen 2.6 (2)4.8 (2)5.6 (1)5.7 (1)5.8 (1)6.1 (1)6.4 (1)15/15
CMAES-APOP-Var3 Nguyen 2.7 (1)6.0 (11)6.7 (10)6.9 (10)7.0 (10)7.3 (10)7.7 (10)15/15
DE-best Vodopija 14 (4)10 (2)13 (2)15 (2)17 (2)22 (3)27 (3)15/15
DE-rand Vodopija 31 (10)28 (3)38 (4)44 (3)50 (3)67 (3)82 (4)15/15
DE-ttb Vodopija 16 (4)13 (2)17 (3)19 (3)20 (2)28 (2)35 (2)15/15
PSA-CMA-ES Nishida 7.6 (4)7.4 (1)8.2 (1)8.4 (1.0)8.6 (1.0)9.2 (0.9)10 (1.0)15/15
PSA-CMA-ESwRS Nishida 3.9 (2)5.7 (7)6.2 (6)6.3 (6)6.4 (5)6.6 (5)6.9 (5)15/15

Δ fopt
f9, 5-D		 1e1
35		 1e0
127		 1e-1
214		 1e-2
263		 1e-3
300		 1e-5
335		 1e-7
369		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.6 (0.6)2.0 (2)1.5 (1)1.4 (1.0)1.3 (0.9)1.2 (0.8)1.2 (0.7)15/15
uBBDE-N Vodopija 120 (25)98 (34)127 (25)138 (28)148 (24)171 (18)191 (26)15/15
uBBDE-best Vodopija 16 (6)24 (22)17 (13)15 (11)14 (9)14 (8)14 (8)15/15
uBBDE-ttb Vodopija 38 (10)47 (47)34 (29)31 (23)29 (20)30 (18)32 (16)15/15
uBBDE Vodopija 223 (82)182 (53)185 (27)192 (13)198 (22)220 (17)238 (15)15/15
uDE-best Vodopija 33 (16)21 (6)20 (6)21 (6)23 (5)29 (5)34 (4)15/15
uDE-rand Vodopija 89 (17)66 (10)62 (8)65 (8)69 (7)85 (8)99 (10)15/15
uDE-ttb Vodopija 34 (11)27 (10)26 (7)26 (5)28 (4)35 (6)40 (5)15/15
BBDE-N Vodopija 84 (37)85 (24)104 (21)124 (9)133 (11)156 (10)174 (17)15/15
BBDE-best Vodopija 14 (4)22 (19)16 (11)14 (9)13 (8)13 (7)13 (7)15/15
BBDE-ttb Vodopija 83 (32)79 (21)70 (17)73 (16)79 (10)95 (13)108 (17)15/15
BBDE Vodopija 138 (44)140 (34)156 (39)170 (29)179 (22)208 (18)224 (22)15/15
BFGS-M-17 Blelly 4.7 (2)3.1 (2)2.1 (0.9)1.8 (0.8)1.6 (0.7)1.5 (0.6)4.0 (4)15/15
BFGS-P-09 Blelly 6.1 (4)3.7 (2)2.5 (1)2.1 (1)1.9 (1)1.8 (0.9)1.7 (0.8)15/15
BFGS-P-Instances Blelly 6.0 (3)5.1 (3)3.4 (2)2.8 (2)2.6 (1)2.3 (1)2.2 (1)15/15
BFGS-P-StPt Blelly 1.1 (0)★40.73 (0)★2↑00.63 (0)★3↑00.61 (0.0)★4↑00.62 (0.0)★3↑00.60 (0.0)★3↑00.57 (9e-3)★4↑015/15
BFGS-P-range Blelly 5.2 (3)5.2 (4)3.4 (2)2.9 (2)2.6 (1)2.4 (1)2.2 (1)15/15
CMAES-APOP-Var1 Nguyen 4.6 (2)6.3 (2)5.9 (0.9)5.6 (0.9)5.4 (0.8)5.4 (0.8)5.3 (0.8)15/15
CMAES-APOP-Var2 Nguyen 4.8 (2)10 (5)8.6 (3)7.9 (3)7.6 (2)7.3 (2)7.2 (2)15/15
CMAES-APOP-Var3 Nguyen 4.8 (1)6.3 (3)5.9 (2)5.6 (2)5.4 (2)5.4 (2)5.3 (1)15/15
DE-best Vodopija 29 (10)22 (5)20 (4)22 (4)23 (4)28 (4)34 (4)15/15
DE-rand Vodopija 61 (15)63 (12)62 (9)64 (9)68 (9)86 (8)100 (12)15/15
DE-ttb Vodopija 36 (12)47 (82)39 (48)38 (39)37 (35)44 (31)49 (28)15/15
PSA-CMA-ES Nishida 14 (5)13 (4)11 (3)10 (2)10 (2)10 (2)10 (1)15/15
PSA-CMA-ESwRS Nishida 5.9 (2)8.4 (5)7.3 (3)6.8 (2)6.4 (2)6.4 (2)6.3 (2)15/15

Δ fopt
f10, 5-D		 1e1
349		 1e0
500		 1e-1
574		 1e-2
607		 1e-3
626		 1e-5
829		 1e-7
880		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.41 (0.1)↑00.33 (0.1)↑00.31 (0.0)↑00.31 (0.0)↑00.33 (0.0)↑00.28 (0.0)★↑00.29 (0.0)↑015/15
uBBDE-N Vodopija 28 (3)26 (2)29 (3)33 (2)38 (2)37 (2)43 (2)15/15
uBBDE-best Vodopija 3.4 (0.8)3.3 (1)3.3 (1)3.5 (1.0)3.8 (0.8)3.5 (0.7)3.9 (0.6)15/15
uBBDE-ttb Vodopija 8.2 (0.7)7.2 (0.5)7.6 (0.6)8.5 (0.6)9.4 (0.6)9.0 (0.6)10 (0.6)15/15
uBBDE Vodopija 42 (4)38 (3)39 (3)43 (3)49 (3)47 (2)53 (2)15/15
uDE-best Vodopija 13 (3)12 (2)14 (2)15 (2)18 (1)17 (1)20 (1)15/15
uDE-rand Vodopija 48 (6)42 (6)47 (6)52 (7)59 (3)57 (4)66 (5)15/15
uDE-ttb Vodopija 17 (1)16 (1)17 (1)20 (1)23 (1)22 (0.8)26 (1)15/15
BBDE-N Vodopija 21 (4)23 (4)26 (2)30 (3)33 (4)35 (2)41 (2)15/15
BBDE-best Vodopija 4.0 (2)3.9 (0.8)3.8 (0.6)4.0 (0.6)4.2 (0.4)3.8 (0.3)4.1 (0.5)15/15
BBDE-ttb Vodopija 21 (5)20 (4)23 (4)27 (3)32 (2)32 (2)38 (2)15/15
BBDE Vodopija 31 (4)31 (2)34 (2)39 (2)44 (2)44 (3)49 (3)15/15
BFGS-M-17 Blelly 1.2 (0.5)1.3 (0.8)2.4 (2)2.3 (2)2.4 (2)3.9 (2)35 (37)4/15
BFGS-P-09 Blelly 0.66 (0.3)0.49 (0.2)↑00.47 (0.2)↑00.49 (0.2)↑10.51 (0.2)↑10.42 (0.2)↑00.45 (0.2)↑015/15
BFGS-P-Instances Blelly 0.72 (0.2)0.53 (0.2)↑00.49 (0.1)↑00.49 (0.1)↑00.50 (0.2)↑00.42 (0.2)↑00.44 (0.2)↑015/15
BFGS-P-StPt Blelly 0.67 (0.4)0.48 (0.2)↑00.44 (0.2)↑00.46 (0.2)↑00.51 (0.3)↑00.46 (0.2)↑00.46 (0.2)↑015/15
BFGS-P-range Blelly 0.68 (0.3)↑00.51 (0.2)↑00.49 (0.2)↑00.48 (0.2)↑00.49 (0.2)↑00.41 (0.1)↑00.42 (0.1)↑015/15
CMAES-APOP-Var1 Nguyen 3.3 (0.9)2.7 (0.6)2.6 (0.5)2.7 (0.3)2.7 (0.3)2.2 (0.2)2.3 (0.2)15/15
CMAES-APOP-Var2 Nguyen 3.3 (1)2.8 (0.6)2.6 (0.5)2.7 (0.4)2.7 (0.5)2.2 (0.3)2.3 (0.3)15/15
CMAES-APOP-Var3 Nguyen 3.0 (0.9)2.6 (0.6)2.7 (0.2)2.7 (0.2)2.7 (0.2)2.2 (0.1)2.3 (0.1)15/15
DE-best Vodopija 13 (3)12 (2)14 (2)16 (2)18 (2)18 (2)21 (2)15/15
DE-rand Vodopija 33 (9)34 (5)39 (4)46 (6)53 (5)53 (4)62 (4)15/15
DE-ttb Vodopija 14 (3)14 (3)15 (2)17 (2)20 (2)20 (2)24 (2)15/15
PSA-CMA-ES Nishida 3.7 (0.6)3.3 (0.3)3.2 (0.3)3.3 (0.3)3.5 (0.4)3.0 (0.3)3.2 (0.3)15/15
PSA-CMA-ESwRS Nishida 3.1 (1)2.7 (0.8)2.7 (0.3)2.7 (0.2)2.8 (0.2)2.3 (0.1)2.3 (0.1)15/15

Δ fopt
f11, 5-D		 1e1
143		 1e0
202		 1e-1
763		 1e-2
977		 1e-3
1177		 1e-5
1467		 1e-7
1673		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.83 (0.4)0.75 (0.2)0.21 (0.1)↑00.18 (0.0)↑00.16 (0.0)↑00.15 (0.0)↑00.14 (0.0)↑015/15
uBBDE-N Vodopija 34 (9)44 (7)16 (1)16 (2)17 (2)19 (1)21 (2)15/15
uBBDE-best Vodopija 5.9 (3)5.6 (2)1.8 (0.4)1.6 (0.4)1.6 (0.3)1.6 (0.3)1.7 (0.2)15/15
uBBDE-ttb Vodopija 13 (2)14 (1.0)4.6 (0.5)4.4 (0.2)4.3 (0.4)4.4 (0.3)4.8 (0.3)15/15
uBBDE Vodopija 67 (21)70 (9)24 (3)23 (2)22 (1)23 (1)25 (2)15/15
uDE-best Vodopija 14 (9)19 (4)7.0 (1)7.2 (1.0)7.5 (0.9)8.2 (0.8)9.2 (0.7)15/15
uDE-rand Vodopija 57 (12)66 (8)25 (3)25 (2)25 (2)28 (2)31 (2)15/15
uDE-ttb Vodopija 18 (4)23 (5)8.7 (2)8.7 (1)9.3 (1)10 (1)12 (1.0)15/15
BBDE-N Vodopija 13 (8)24 (5)11 (2)12 (2)13 (2)15 (1.0)17 (1)15/15
BBDE-best Vodopija 6.4 (2)6.2 (2)2.0 (0.4)1.9 (0.3)1.8 (0.3)1.8 (0.3)1.9 (0.2)15/15
BBDE-ttb Vodopija 16 (7)24 (4)10 (2)11 (2)12 (1)14 (1.0)16 (1)15/15
BBDE Vodopija 20 (9)36 (10)16 (2)17 (2)17 (1)20 (2)22 (1)15/15
BFGS-M-17 Blelly 1.1 (0.2)1.7 (1.0)1.2 (1)1.5 (2)3.6 (6)17 (19)∞3e40/15
BFGS-P-09 Blelly 2.1 (0.9)1.6 (0.9)0.45 (0.3)↑10.36 (0.2)↑10.32 (0.2)↑10.29 (0.2)↑10.39 (0.8)15/15
BFGS-P-Instances Blelly 1.3 (0.7)0.98 (0.5)0.28 (0.2)↑00.23 (0.1)↑00.21 (0.1)↑00.19 (0.1)↑00.19 (0.1)↑015/15
BFGS-P-StPt Blelly 0.90 (0.9)0.73 (0.6)0.21 (0.2)↑00.18 (0.1)↑00.18 (0.2)↑00.17 (0.2)↑00.17 (0.1)↑015/15
BFGS-P-range Blelly 1.4 (1)1.1 (1)0.31 (0.3)↑10.25 (0.3)↑00.22 (0.2)↑00.20 (0.2)↑00.26 (0.2)↑015/15
CMAES-APOP-Var1 Nguyen 8.3 (3)7.3 (2)2.2 (0.3)1.8 (0.2)1.6 (0.2)1.4 (0.1)1.3 (0.1)15/15
CMAES-APOP-Var2 Nguyen 9.1 (2)7.9 (1)2.3 (0.3)1.9 (0.2)1.6 (0.2)1.4 (0.1)1.3 (0.1)15/15
CMAES-APOP-Var3 Nguyen 7.6 (2)6.8 (1)2.1 (0.3)1.7 (0.2)1.5 (0.2)1.3 (0.1)1.3 (0.1)15/15
DE-best Vodopija 15 (5)17 (6)6.9 (1)7.2 (0.9)7.3 (0.9)8.1 (0.7)9.0 (0.6)15/15
DE-rand Vodopija 28 (21)49 (11)19 (3)20 (3)21 (3)24 (2)28 (2)15/15
DE-ttb Vodopija 13 (8)20 (5)8.1 (2)8.0 (0.8)8.7 (1)10 (0.8)11 (1.0)15/15
PSA-CMA-ES Nishida 8.2 (2)7.3 (1)2.3 (0.2)1.9 (0.2)1.7 (0.1)1.6 (0.1)1.6 (0.1)15/15
PSA-CMA-ESwRS Nishida 9.4 (2)7.8 (0.7)2.2 (0.2)1.8 (0.1)1.6 (0.1)1.4 (0.1)1.3 (0.1)15/15

Δ fopt
f12, 5-D		 1e1
108		 1e0
268		 1e-1
371		 1e-2
413		 1e-3
461		 1e-5
1303		 1e-7
1494		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.6 (0.9)1.2 (0.8)1.3 (1)★21.5 (1)★21.7 (1)★20.73 (0.6)★0.78 (0.5)★27/15
uBBDE-N Vodopija 240 (95)172 (104)193 (106)269 (243)321 (349)162 (153)156 (142)7/15
uBBDE-best Vodopija 20 (16)14 (16)15 (15)16 (14)16 (13)7.1 (4)7.0 (4)15/15
uBBDE-ttb Vodopija 41 (3)22 (6)22 (8)24 (10)25 (10)12 (5)12 (5)15/15
uBBDE Vodopija 423 (179)254 (139)296 (163)335 (241)429 (384)193 (162)201 (136)8/15
uDE-best Vodopija 55 (23)38 (18)41 (18)45 (17)45 (16)21 (7)22 (7)15/15
uDE-rand Vodopija 195 (37)103 (18)99 (20)106 (21)114 (22)53 (15)56 (14)15/15
uDE-ttb Vodopija 71 (19)47 (25)47 (32)50 (32)52 (28)24 (11)25 (11)15/15
BBDE-N Vodopija 159 (35)108 (44)147 (74)262 (191)357 (397)184 (141)179 (142)9/15
BBDE-best Vodopija 16 (12)13 (14)13 (15)14 (14)14 (13)6.0 (5)6.0 (5)15/15
BBDE-ttb Vodopija 123 (23)83 (43)86 (50)94 (59)103 (54)51 (24)55 (26)15/15
BBDE Vodopija 224 (66)141 (61)180 (90)221 (128)271 (178)191 (252)231 (259)8/15
BFGS-M-17 Blelly 2.3 (2)2.4 (2)5.8 (4)11 (11)27 (31)218 (196)∞2e40/15
BFGS-P-09 Blelly 9.4 (7)5.3 (4)4.5 (3)4.3 (3)4.1 (3)1.6 (1)1.6 (0.9)15/15
BFGS-P-Instances Blelly 13 (10)6.7 (5)5.7 (4)5.4 (4)5.1 (3)2.0 (1)1.8 (1)15/15
BFGS-P-StPt Blelly 7.9 (6)4.8 (3)4.2 (2)4.1 (2)3.9 (1)1.6 (0.5)1.5 (0.5)15/15
BFGS-P-range Blelly 10 (7)5.6 (4)4.8 (3)4.6 (2)4.4 (2)1.7 (0.7)1.6 (0.6)15/15
CMAES-APOP-Var1 Nguyen 5.8 (4)5.5 (5)6.2 (6)6.5 (6)6.8 (5)3.1 (2)4.1 (2)15/15
CMAES-APOP-Var2 Nguyen 6.4 (4)5.6 (4)6.5 (5)7.2 (5)7.6 (5)4.8 (2)4.8 (3)15/15
CMAES-APOP-Var3 Nguyen 6.8 (4)6.3 (5)7.2 (5)8.2 (5)8.6 (5)4.0 (2)4.0 (2)15/15
DE-best Vodopija 45 (16)31 (17)33 (20)35 (21)37 (17)17 (7)18 (7)15/15
DE-rand Vodopija 147 (25)83 (13)82 (17)91 (19)103 (24)51 (14)54 (14)15/15
DE-ttb Vodopija 55 (16)37 (10)42 (18)49 (22)53 (25)25 (13)26 (13)15/15
PSA-CMA-ES Nishida 16 (9)9.0 (7)8.1 (6)8.5 (5)9.0 (5)4.1 (2)4.2 (2)15/15
PSA-CMA-ESwRS Nishida 10 (10)7.6 (8)7.5 (6)7.8 (6)7.8 (5)3.5 (2)3.5 (2)15/15

Δ fopt
f13, 5-D		 1e1
132		 1e0
195		 1e-1
250		 1e-2
319		 1e-3
1310		 1e-5
1752		 1e-7
2255		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.6 (0.8)1.4 (0.6)1.2 (0.5)1.1 (0.7)0.37 (0.2)↑10.37 (0.1)↑10.37 (0.2)★2↑113/15
uBBDE-N Vodopija 53 (10)65 (8)74 (5)77 (3)24 (2)26 (2)26 (2)15/15
uBBDE-best Vodopija 8.5 (4)9.2 (4)9.4 (3)8.9 (2)2.9 (0.7)2.8 (0.8)2.7 (0.7)15/15
uBBDE-ttb Vodopija 18 (2)19 (2)21 (1)20 (1)6.2 (0.2)6.1 (0.2)5.9 (0.2)15/15
uBBDE Vodopija 78 (9)88 (9)100 (4)100 (3)30 (1)31 (0.9)30 (0.9)15/15
uDE-best Vodopija 15 (4)21 (5)27 (5)29 (3)10 (1)11 (1)11 (0.7)15/15
uDE-rand Vodopija 47 (9)64 (12)81 (13)93 (17)30 (3)33 (3)35 (3)15/15
uDE-ttb Vodopija 19 (6)26 (4)34 (7)37 (6)12 (2)13 (1)14 (0.8)15/15
BBDE-N Vodopija 45 (6)58 (5)69 (4)72 (5)23 (2)25 (1)25 (1)15/15
BBDE-best Vodopija 7.9 (3)8.4 (2)8.7 (2)8.3 (2)2.5 (0.5)2.6 (0.4)2.5 (0.5)15/15
BBDE-ttb Vodopija 43 (9)55 (4)65 (6)67 (6)21 (2)24 (1)24 (1)15/15
BBDE Vodopija 63 (10)79 (7)88 (8)91 (4)28 (1)29 (0.7)29 (0.9)15/15
BFGS-M-17 Blelly 1.0 (0.2)1.0 (0.2)1.0 (0.1)1.0 (0.1)0.29 (0.0)↑039 (45)∞6e40/15
BFGS-P-09 Blelly 0.97 (0.1)0.92 (0.1)0.93 (0.1)↑10.88 (0.1)↑00.26 (0.0)↑01.2 (2)2076 (1981)2/15
BFGS-P-Instances Blelly 1.0 (0.2)0.95 (0.1)0.94 (0.1)0.91 (0.1)↑00.26 (0.0)↑019 (2)1477 (1811)2/15
BFGS-P-StPt Blelly 0.95 (0.1)0.86 (0.1)0.85 (0.1)↑00.85 (0.0)↑00.24 (0.0)↑00.86 (0.7)863 (1263)2/15
BFGS-P-range Blelly 0.98 (0.2)0.92 (0.1)↑10.92 (0.1)↑10.89 (0.1)↑00.26 (0.0)↑084 (3)1957 (3805)2/15
CMAES-APOP-Var1 Nguyen 3.0 (2)5.1 (3)5.5 (3)5.1 (2)1.4 (0.4)1.7 (0.3)1.7 (0.5)15/15
CMAES-APOP-Var2 Nguyen 2.8 (1.0)4.4 (3)6.6 (3)6.4 (2)1.9 (0.6)1.7 (0.4)1.9 (1)15/15
CMAES-APOP-Var3 Nguyen 2.4 (0.5)5.0 (3)5.9 (2)5.2 (2)1.5 (0.6)1.8 (0.3)1.9 (2)15/15
DE-best Vodopija 15 (4)21 (4)27 (4)29 (3)10 (0.9)11 (1)11 (0.7)15/15
DE-rand Vodopija 38 (10)56 (11)80 (16)92 (16)30 (5)33 (5)35 (3)15/15
DE-ttb Vodopija 17 (3)25 (5)33 (5)37 (6)12 (2)13 (0.8)14 (0.8)15/15
PSA-CMA-ES Nishida 5.0 (1)5.6 (1)6.0 (0.8)5.9 (0.6)1.7 (0.1)1.7 (0.1)1.7 (0.1)15/15
PSA-CMA-ESwRS Nishida 3.4 (2)4.3 (2)5.0 (2)5.2 (2)1.7 (0.5)1.6 (0.3)1.5 (0.3)15/15

Δ fopt
f14, 5-D		 1e1
10		 1e0
41		 1e-1
58		 1e-2
90		 1e-3
139		 1e-5
251		 1e-7
476		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.6 (1)1.1 (0.3)1.1 (0.2)1.1 (0.2)1.0 (0.2)0.90 (0.1)0.75 (0.3)15/15
uBBDE-N Vodopija 4.1 (7)33 (20)81 (19)97 (19)91 (12)84 (6)63 (5)15/15
uBBDE-best Vodopija 1.7 (2)5.8 (3)10 (2)11 (3)10 (2)9.1 (1)6.3 (0.7)15/15
uBBDE-ttb Vodopija 2.0 (2)17 (5)28 (6)29 (3)26 (2)22 (1)16 (0.4)15/15
uBBDE Vodopija 1.8 (2)57 (24)134 (32)140 (23)128 (15)116 (11)85 (3)15/15
uDE-best Vodopija 1.9 (2)8.7 (5)18 (5)19 (3)19 (3)24 (5)22 (3)15/15
uDE-rand Vodopija 2.1 (3)30 (14)50 (12)52 (8)55 (8)74 (14)64 (8)15/15
uDE-ttb Vodopija 1.6 (2)12 (6)21 (4)22 (2)23 (3)30 (4)27 (3)15/15
BBDE-N Vodopija 1.9 (3)17 (9)57 (19)74 (12)78 (9)79 (6)61 (3)15/15
BBDE-best Vodopija 2.0 (3)4.5 (2)8.3 (3)11 (3)10 (2)8.8 (1.0)6.3 (0.6)15/15
BBDE-ttb Vodopija 2.1 (2)17 (12)53 (12)70 (10)76 (7)71 (8)57 (5)15/15
BBDE Vodopija 2.4 (3)25 (15)80 (26)104 (16)104 (12)99 (6)77 (3)15/15
BFGS-M-17 Blelly 2.1 (2)1.8 (1)1.7 (1)1.5 (0.8)1.2 (0.6)0.99 (0.3)2.9 (4)3/15
BFGS-P-09 Blelly 2.1 (2)1.1 (0.4)1.3 (0.5)1.2 (0.3)1.1 (0.2)0.88 (0.1)3.7 (6)10/15
BFGS-P-Instances Blelly 2.0 (1)1.1 (0.3)1.2 (0.2)1.2 (0.2)1.0 (0.2)0.89 (0.2)13 (13)9/15
BFGS-P-StPt Blelly 1 (0.8)0.60 (0.3)★2↑00.86 (0.3)0.97 (0.2)0.88 (0.2)0.81 (0.1)↑02.2 (4)14/15
BFGS-P-range Blelly 2.0 (1)1.1 (0.3)1.3 (0.4)1.2 (0.2)1.1 (0.2)0.86 (0.1)↑13.2 (2)13/15
CMAES-APOP-Var1 Nguyen 0.81 (0.8)2.3 (1)3.2 (0.6)3.7 (0.9)4.2 (1)5.3 (1)4.3 (0.5)15/15
CMAES-APOP-Var2 Nguyen 0.80 (0.8)2.2 (0.8)3.6 (0.8)3.7 (1.0)4.1 (1)5.2 (0.7)4.3 (0.3)15/15
CMAES-APOP-Var3 Nguyen 0.71 (0.8)2.2 (1.0)3.4 (1.0)3.9 (1)4.2 (1.0)5.4 (0.8)4.3 (0.4)15/15
DE-best Vodopija 1.5 (2)8.1 (5)16 (3)18 (3)19 (3)24 (3)23 (3)15/15
DE-rand Vodopija 1.9 (2)15 (9)36 (9)42 (3)51 (10)70 (11)65 (7)15/15
DE-ttb Vodopija 1.9 (1)10 (5)19 (5)21 (4)22 (4)29 (4)26 (3)15/15
PSA-CMA-ES Nishida 2.4 (3)5.4 (3)8.2 (3)7.9 (2)7.6 (1)7.4 (1)5.5 (0.4)15/15
PSA-CMA-ESwRS Nishida 1.8 (2)2.7 (0.9)3.5 (0.6)3.9 (1)4.5 (0.7)5.1 (0.7)4.3 (0.4)15/15

Δ fopt
f15, 5-D		 1e1
511		 1e0
9310		 1e-1
19369		 1e-2
19743		 1e-3
20073		 1e-5
20769		 1e-7
21359		 #succ
14/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.62 (0.8)∞∞∞∞∞∞12590/15
uBBDE-N Vodopija 17 (10)18 (6)14 (8)30 (32)46 (31)∞∞3e50/15
uBBDE-best Vodopija 5.4 (9)26 (24)56 (55)55 (61)54 (82)53 (62)51 (59)3/15
uBBDE-ttb Vodopija 7.6 (4)3.6 (1)3.8 (3)3.8 (3)3.8 (3)3.7 (3)3.7 (3)15/15
uBBDE Vodopija 36 (14)20 (6)22 (18)93 (91)185 (153)180 (166)∞3e50/15
uDE-best Vodopija 9.0 (6)7.4 (7)7.3 (7)7.2 (9)7.1 (9)6.9 (6)6.8 (8)13/15
uDE-rand Vodopija 18 (11)11 (2)7.1 (3)7.1 (3)7.0 (3)6.9 (3)6.9 (3)15/15
uDE-ttb Vodopija 6.9 (3)4.8 (2)4.6 (4)4.6 (4)4.6 (4)4.5 (3)4.5 (3)15/15
BBDE-N Vodopija 17 (8)18 (9)15 (8)29 (22)61 (72)∞∞3e50/15
BBDE-best Vodopija 8.4 (8)16 (18)93 (76)92 (119)90 (115)87 (102)85 (102)2/15
BBDE-ttb Vodopija 18 (12)5.6 (2)15 (18)15 (16)15 (24)15 (16)15 (12)8/15
BBDE Vodopija 24 (13)19 (5)15 (10)23 (13)46 (59)∞∞3e50/15
BFGS-M-17 Blelly 68 (53)∞∞∞∞∞∞2e40/15
BFGS-P-09 Blelly 146 (246)∞∞∞∞∞∞3e40/15
BFGS-P-Instances Blelly 108 (116)∞∞∞∞∞∞3e40/15
BFGS-P-StPt Blelly 153 (118)∞∞∞∞∞∞3e40/15
BFGS-P-range Blelly 157 (191)∞∞∞∞∞∞3e40/15
CMAES-APOP-Var1 Nguyen 2.2 (3)1.0 (0.4)0.66 (0.5)0.69 (0.5)0.72 (0.5)0.75 (0.4)0.77 (0.4)15/15
CMAES-APOP-Var2 Nguyen 2.4 (4)0.99 (0.4)0.65 (0.2)↑10.70 (0.3)↑10.73 (0.3)0.77 (0.3)0.80 (0.3)15/15
CMAES-APOP-Var3 Nguyen 1.9 (4)0.98 (0.3)0.71 (0.4)0.75 (0.4)0.78 (0.4)0.81 (0.4)0.84 (0.4)15/15
DE-best Vodopija 7.4 (4)4.7 (6)13 (19)12 (15)12 (19)12 (10)12 (17)10/15
DE-rand Vodopija 12 (9)12 (3)6.3 (1)6.3 (1)6.3 (1)6.2 (1)6.2 (1)15/15
DE-ttb Vodopija 7.3 (5)4.0 (1)4.6 (4)4.7 (4)4.6 (4)4.6 (4)4.5 (4)15/15
PSA-CMA-ES Nishida 2.4 (2)0.62 (0.4)0.42 (0.3)↑00.43 (0.3)↑00.43 (0.3)↑00.43 (0.3)↑00.43 (0.3)↑015/15
PSA-CMA-ESwRS Nishida 1.8 (3)0.86 (0.8)0.70 (0.8)0.69 (0.8)0.69 (0.8)0.68 (0.8)0.68 (0.8)15/15

Δ fopt
f16, 5-D		 1e1
120		 1e0
612		 1e-1
2662		 1e-2
10163		 1e-3
10449		 1e-5
11644		 1e-7
12095		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.9 (5)4.1 (4)2.1 (3)0.88 (0.9)0.86 (1)1.6 (2)1.5 (2)1/15
uBBDE-N Vodopija 4.1 (5)69 (36)322 (333)∞∞∞∞3e50/15
uBBDE-best Vodopija 3.1 (2)2.8 (1)4.2 (4)3.2 (4)5.8 (5)12 (11)19 (14)10/15
uBBDE-ttb Vodopija 8.2 (11)41 (21)19 (10)7.9 (4)8.0 (4)7.6 (4)7.6 (4)14/15
uBBDE Vodopija 16 (21)181 (92)∞∞∞∞∞3e50/15
uDE-best Vodopija 7.2 (7)21 (8)6.6 (3)4.5 (7)5.1 (7)4.8 (6)4.8 (6)15/15
uDE-rand Vodopija 7.6 (8)175 (83)50 (14)13 (4)13 (4)13 (3)13 (3)15/15
uDE-ttb Vodopija 4.0 (4)86 (57)42 (15)14 (13)18 (16)18 (16)17 (15)12/15
BBDE-N Vodopija 3.0 (3)30 (14)75 (51)∞∞∞∞3e50/15
BBDE-best Vodopija 2.6 (3)5.5 (7)2.9 (3)2.0 (2)2.6 (3)8.2 (9)12 (18)10/15
BBDE-ttb Vodopija 2.6 (3)25 (18)18 (10)14 (16)22 (27)36 (47)52 (52)5/15
BBDE Vodopija 4.5 (6)82 (75)321 (356)∞∞∞∞3e50/15
BFGS-M-17 Blelly 75 (66)∞∞∞∞∞∞2e40/15
BFGS-P-09 Blelly 540 (817)∞∞∞∞∞∞2e50/15
BFGS-P-Instances Blelly 1005 (1009)∞∞∞∞∞∞2e50/15
BFGS-P-StPt Blelly 716 (729)∞∞∞∞∞∞2e50/15
BFGS-P-range Blelly 779 (811)∞∞∞∞∞∞2e50/15
CMAES-APOP-Var1 Nguyen 1.9 (2)18 (41)24 (22)7.1 (6)7.2 (6)6.7 (5)6.7 (5)15/15
CMAES-APOP-Var2 Nguyen 2.0 (1)23 (40)12 (11)3.8 (3)4.0 (3)4.3 (3)4.3 (3)15/15
CMAES-APOP-Var3 Nguyen 2.4 (2)13 (24)15 (14)4.2 (4)4.5 (4)4.3 (4)4.2 (4)15/15
DE-best Vodopija 2.5 (3)19 (11)7.1 (7)3.0 (3)3.0 (3)3.3 (3)3.3 (3)15/15
DE-rand Vodopija 2.4 (2)118 (78)62 (37)17 (10)17 (9)18 (9)18 (8)14/15
DE-ttb Vodopija 2.1 (3)51 (33)35 (8)11 (3)13 (4)12 (4)12 (4)14/15
PSA-CMA-ES Nishida 4.5 (5)25 (30)7.0 (7)2.0 (2)2.0 (2)1.8 (2)1.8 (2)15/15
PSA-CMA-ESwRS Nishida 2.0 (2)7.9 (12)5.2 (4)1.4 (0.9)1.4 (0.9)1.6 (1)1.6 (1)15/15

Δ fopt
f17, 5-D		 1e1
5.0		 1e0
215		 1e-1
899		 1e-2
2861		 1e-3
3669		 1e-5
6351		 1e-7
7934		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 3.4 (3)2.5 (3)3.4 (4)2.1 (2)∞∞∞12530/15
uBBDE-N Vodopija 4.2 (6)19 (6)23 (9)18 (3)23 (2)25 (3)28 (2)13/15
uBBDE-best Vodopija 2.3 (2)6.0 (2)43 (62)37 (40)173 (148)∞∞3e50/15
uBBDE-ttb Vodopija 3.5 (3)5.7 (2)3.9 (0.9)2.2 (0.3)2.4 (0.2)2.3 (0.1)2.5 (0.1)15/15
uBBDE Vodopija 2.6 (3)31 (12)34 (6)21 (4)26 (3)26 (2)28 (2)13/15
uDE-best Vodopija 5.5 (7)5.2 (2)2.9 (0.7)1.6 (0.3)1.8 (0.3)3.1 (4)2.9 (3)15/15
uDE-rand Vodopija 2.9 (3)13 (4)8.3 (1)5.0 (0.7)5.7 (0.6)5.7 (0.6)6.3 (0.6)15/15
uDE-ttb Vodopija 2.6 (4)5.1 (2)3.5 (0.6)2.1 (0.2)2.4 (0.3)2.4 (0.2)3.0 (0.3)15/15
BBDE-N Vodopija 4.3 (7)11 (4)19 (6)15 (1)22 (3)24 (1)27 (0.9)15/15
BBDE-best Vodopija 2.3 (4)2.2 (1.0)19 (35)23 (38)71 (74)∞∞3e50/15
BBDE-ttb Vodopija 4.7 (8)11 (6)14 (4)9.3 (2)11 (2)13 (1)14 (0.6)15/15
BBDE Vodopija 3.6 (4)16 (9)25 (5)18 (2)24 (2)26 (1)28 (1)14/15
BFGS-M-17 Blelly 59 (85)161 (178)∞∞∞∞∞2e40/15
BFGS-P-09 Blelly 79 (110)769 (582)∞∞∞∞∞4e40/15
BFGS-P-Instances Blelly 124 (148)1201 (1461)∞∞∞∞∞3e40/15
BFGS-P-StPt Blelly 55 (129)2610 (3578)∞∞∞∞∞3e40/15
BFGS-P-range Blelly 37 (54)526 (622)∞∞∞∞∞3e40/15
CMAES-APOP-Var1 Nguyen 2.3 (3)1.1 (0.5)1.4 (3)0.98 (1)1.4 (1)1.5 (0.2)1.3 (0.2)15/15
CMAES-APOP-Var2 Nguyen 1.9 (2)2.1 (0.3)1.4 (3)1.5 (1)1.4 (1)1.5 (0.3)1.5 (0.2)15/15
CMAES-APOP-Var3 Nguyen 2.6 (4)0.97 (0.4)2.0 (3)1.1 (1)1.2 (1)1.6 (0.2)1.5 (0.2)15/15
DE-best Vodopija 4.2 (4)4.0 (2)2.8 (0.7)1.6 (0.3)1.8 (0.2)3.1 (4)2.9 (3)15/15
DE-rand Vodopija 3.8 (3)8.2 (3)7.7 (1)4.8 (0.7)5.4 (0.9)5.4 (0.7)6.0 (0.6)15/15
DE-ttb Vodopija 1.4 (1)4.4 (2)3.4 (0.5)2.0 (0.2)2.3 (0.2)2.4 (0.2)2.6 (0.3)15/15
PSA-CMA-ES Nishida 3.7 (4)1.8 (0.9)1.0 (0.2)0.51 (0.1)↑00.56 (0.1)↑00.53 (0.1)↑00.57 (0.0)↑015/15
PSA-CMA-ESwRS Nishida 4.5 (5)1.00 (0.4)1.1 (2)0.94 (0.9)0.94 (0.7)1.0 (0.1)0.97 (0.1)15/15

Δ fopt
f18, 5-D		 1e1
103		 1e0
378		 1e-1
3968		 1e-2
8451		 1e-3
9280		 1e-5
10905		 1e-7
12469		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.6 (5)4.9 (6)0.59 (0.8)∞∞∞∞12530/15
uBBDE-N Vodopija 11 (7)30 (8)10 (2)9.1 (0.9)13 (3)23 (12)∞3e50/15
uBBDE-best Vodopija 2.9 (2)29 (28)17 (15)64 (90)∞∞∞3e50/15
uBBDE-ttb Vodopija 5.9 (5)7.2 (1)1.3 (0.2)0.97 (0.1)1.2 (0.1)1.6 (0.2)1.8 (0.2)15/15
uBBDE Vodopija 15 (9)48 (10)12 (2)11 (2)14 (1)20 (2)∞3e50/15
uDE-best Vodopija 4.2 (3)6.8 (2)1.4 (0.4)1.0 (0.2)1.3 (0.2)3.4 (4)4.2 (4)15/15
uDE-rand Vodopija 8.5 (6)17 (5)4.0 (0.4)3.5 (0.5)4.6 (0.5)6.5 (0.7)7.4 (0.9)15/15
uDE-ttb Vodopija 4.1 (3)7.0 (2)1.7 (0.3)1.3 (0.1)1.7 (0.3)2.5 (0.3)2.9 (0.3)15/15
BBDE-N Vodopija 5.0 (4)21 (7)7.7 (2)8.0 (2)12 (2)19 (2)150 (100)0/15
BBDE-best Vodopija 2.1 (2)6.7 (6)10 (10)54 (47)∞∞∞3e50/15
BBDE-ttb Vodopija 4.6 (4)15 (4)4.3 (0.9)4.0 (0.6)5.7 (0.9)8.4 (1)10 (0.9)15/15
BBDE Vodopija 7.5 (5)30 (11)10 (2)10 (1)13 (1)21 (2)301 (160)0/15
BFGS-M-17 Blelly 76 (84)∞∞∞∞∞∞2e40/15
BFGS-P-09 Blelly 204 (183)∞∞∞∞∞∞4e40/15
BFGS-P-Instances Blelly 190 (203)∞∞∞∞∞∞4e40/15
BFGS-P-StPt Blelly 75 (94)∞∞∞∞∞∞4e40/15
BFGS-P-range Blelly 177 (194)∞∞∞∞∞∞4e40/15
CMAES-APOP-Var1 Nguyen 0.87 (0.5)5.1 (9)1.3 (1)0.97 (0.2)1.0 (0.2)1.0 (0.2)1.0 (0.2)15/15
CMAES-APOP-Var2 Nguyen 0.82 (0.7)1.1 (0.7)1.1 (1)0.91 (0.5)1.0 (0.2)1.1 (0.2)1.1 (0.1)15/15
CMAES-APOP-Var3 Nguyen 0.90 (0.4)2.7 (6)0.71 (0.9)0.79 (0.5)0.94 (0.1)0.98 (0.1)1.0 (0.1)15/15
DE-best Vodopija 2.9 (2)5.3 (2)1.5 (0.6)1.7 (0.4)2.4 (4)2.8 (3)3.2 (3)15/15
DE-rand Vodopija 5.3 (3)13 (4)4.0 (0.8)3.4 (0.5)4.7 (0.6)6.4 (0.9)7.3 (1.0)15/15
DE-ttb Vodopija 2.7 (1)6.2 (2)1.6 (0.3)1.3 (0.2)1.6 (0.2)2.4 (0.2)2.8 (0.2)15/15
PSA-CMA-ES Nishida 2.2 (1)2.2 (0.7)0.35 (0.1)↑00.35 (0.4)0.39 (0.4)0.45 (0.3)0.48 (0.3)↑015/15
PSA-CMA-ESwRS Nishida 1.1 (0.6)0.99 (0.5)0.87 (0.8)0.64 (0.4)↑00.73 (0.2)↑10.76 (0.2)↑10.84 (0.4)15/15

Δ fopt
f19, 5-D		 1e1
1		 1e0
1		 1e-1
242		 1e-2
1.0e5		 1e-3
1.2e5		 1e-5
1.2e5		 1e-7
1.2e5		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 13 (10)203 (163)11 (10)0.18 (0.2)0.15 (0.2)0.15 (0.1)0.15 (0.2)1/15
uBBDE-N Vodopija 28 (32)1.7e4 (1e4)∞∞∞∞∞3e50/15
uBBDE-best Vodopija 28 (36)4632 (4608)274 (172)5.9 (4)15 (15)15 (18)15 (14)2/15
uBBDE-ttb Vodopija 32 (28)5918 (5159)909 (676)3.3 (2)3.9 (3)4.0 (3)3.9 (3)7/15
uBBDE Vodopija 53 (32)1.5e4 (1e4)∞∞∞∞∞3e50/15
uDE-best Vodopija 44 (66)5812 (5482)1883 (2641)∞∞∞∞3e50/15
uDE-rand Vodopija 37 (46)1.2e4 (7440)2644 (2603)47 (59)∞∞∞3e50/15
uDE-ttb Vodopija 31 (26)4745 (3172)890 (556)11 (15)15 (17)15 (16)15 (14)2/15
BBDE-N Vodopija 33 (42)1.0e4 (9603)2676 (2448)∞∞∞∞3e50/15
BBDE-best Vodopija 56 (42)4092 (4377)551 (590)5.6 (6)9.3 (7)9.3 (10)9.2 (11)3/15
BBDE-ttb Vodopija 31 (35)1.1e4 (8840)1629 (1423)35 (40)31 (38)31 (25)31 (37)1/15
BBDE Vodopija 39 (44)1.2e4 (1e4)∞∞∞∞∞3e50/15
BFGS-M-17 Blelly 397 (381)9458 (8946)∞∞∞∞∞2e40/15
BFGS-P-09 Blelly 4724 (7268)2.9e4 (2e4)2622 (2802)∞∞∞∞1e50/15
BFGS-P-Instances Blelly 1571 (1176)7.3e4 (7e4)∞∞∞∞∞1e50/15
BFGS-P-StPt Blelly 1 (0)1 (0)0.14 (0.0)★4↑0∞∞∞∞1e50/15
BFGS-P-range Blelly 963 (1048)2.0e4 (2e4)∞∞∞∞∞1e50/15
CMAES-APOP-Var1 Nguyen 1 (0)1 (0)97 (46)0.34 (0.1)↑00.33 (0.1)↑00.36 (0.2)↑00.38 (0.2)↑015/15
CMAES-APOP-Var2 Nguyen 1 (0)1 (0)89 (52)0.33 (0.1)↑00.34 (0.1)↑00.37 (0.1)↑00.39 (0.1)↑015/15
CMAES-APOP-Var3 Nguyen 1 (0)1 (0)117 (47)0.38 (0.1)↑00.38 (0.2)↑00.41 (0.2)↑00.43 (0.2)↑015/15
DE-best Vodopija 33 (32)4809 (2838)1051 (1139)19 (17)∞∞∞3e50/15
DE-rand Vodopija 45 (41)9516 (1e4)3102 (3369)∞∞∞∞3e50/15
DE-ttb Vodopija 36 (25)3758 (4415)1818 (1347)∞∞∞∞3e50/15
PSA-CMA-ES Nishida 36 (23)1481 (1026)132 (186)1.8 (2)6.8 (15)6.8 (15)6.8 (15)14/15
PSA-CMA-ESwRS Nishida 23 (22)2094 (1760)233 (196)6.4 (9)12 (22)12 (21)12 (21)13/15

Δ fopt
f20, 5-D		 1e1
16		 1e0
851		 1e-1
38111		 1e-2
51362		 1e-3
54470		 1e-5
54861		 1e-7
55313		 #succ
14/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.6 (0.4)1.9 (2)∞∞∞∞∞12530/15
uBBDE-N Vodopija 25 (24)12 (7)2.3 (0.7)2.5 (0.4)2.8 (0.5)3.5 (0.5)4.5 (2)13/15
uBBDE-best Vodopija 5.5 (4)8.0 (8)16 (19)12 (18)11 (14)11 (16)11 (12)5/15
uBBDE-ttb Vodopija 13 (10)7.1 (3)2.7 (4)2.0 (4)1.9 (2)2.0 (2)2.0 (3)13/15
uBBDE Vodopija 56 (41)22 (12)3.1 (0.8)3.0 (0.6)3.4 (0.4)3.9 (0.4)5.7 (2)10/15
uDE-best Vodopija 11 (9)3.3 (1)0.74 (0.9)0.56 (0.6)0.54 (0.6)0.55 (0.6)0.56 (0.6)15/15
uDE-rand Vodopija 21 (21)10 (5)0.67 (0.1)↑00.54 (0.1)↑00.53 (0.1)↑00.57 (0.1)↑00.61 (0.1)↑015/15
uDE-ttb Vodopija 13 (9)4.5 (2)0.83 (0.9)0.65 (0.6)0.63 (0.6)0.65 (0.6)0.66 (0.6)15/15
BBDE-N Vodopija 15 (9)13 (8)2.2 (0.7)2.4 (0.4)2.8 (0.4)3.5 (0.3)4.0 (0.3)15/15
BBDE-best Vodopija 8.0 (4)6.9 (13)8.6 (6)6.4 (4)6.0 (5)6.0 (6)5.9 (6)9/15
BBDE-ttb Vodopija 15 (18)9.4 (4)0.61 (0.4)0.56 (0.4)0.62 (0.3)0.79 (0.4)0.95 (0.3)15/15
BBDE Vodopija 17 (14)22 (15)2.8 (0.9)3.1 (0.5)3.3 (0.4)3.8 (0.4)4.4 (0.4)12/15
BFGS-M-17 Blelly 2.0 (0.4)1.4 (0.9)9.3 (9)6.9 (9)6.5 (10)6.4 (9)6.4 (5)0/15
BFGS-P-09 Blelly 7.9 (4)4.4 (5)1.5 (1)1.1 (0.9)1.0 (1)1.0 (1)1.0 (0.9)7/15
BFGS-P-Instances Blelly 6.9 (2)2.9 (3)1.0 (0.8)0.75 (0.8)0.71 (0.7)0.70 (0.7)0.70 (0.5)10/15
BFGS-P-StPt Blelly 7.7 (1)3.3 (4)1.5 (2)1.1 (1)1.1 (1)1.1 (0.9)1.1 (1)7/15
BFGS-P-range Blelly 7.5 (3)8.6 (8)7.3 (12)5.4 (8)5.1 (4)5.1 (4)5.0 (7)2/15
CMAES-APOP-Var1 Nguyen 1.6 (1)13 (10)1.1 (1.0)0.93 (0.7)0.92 (0.7)0.96 (0.7)0.99 (0.7)15/15
CMAES-APOP-Var2 Nguyen 2.2 (3)15 (8)1.0 (0.7)0.87 (0.6)0.85 (0.6)0.90 (0.6)0.93 (0.6)15/15
CMAES-APOP-Var3 Nguyen 1.8 (1)9.4 (8)0.78 (0.5)0.66 (0.4)0.68 (0.4)0.71 (0.4)0.74 (0.4)15/15
DE-best Vodopija 7.6 (6)3.2 (0.7)0.82 (0.8)0.62 (0.6)0.60 (0.6)0.61 (0.6)0.62 (0.6)15/15
DE-rand Vodopija 15 (12)9.2 (5)0.69 (0.2)↑00.56 (0.1)↑00.55 (0.1)↑00.59 (0.1)↑00.63 (0.1)↑015/15
DE-ttb Vodopija 10 (5)5.2 (2)0.60 (0.6)0.47 (0.4)0.46 (0.4)↑10.48 (0.4)0.50 (0.4)15/15
PSA-CMA-ES Nishida 4.5 (4)4.0 (2)2.7 (2)2.1 (2)1.9 (2)1.9 (2)1.9 (2)15/15
PSA-CMA-ESwRS Nishida 4.3 (3)7.8 (4)1.8 (2)1.4 (2)1.3 (2)1.3 (2)1.3 (2)15/15

Δ fopt
f21, 5-D		 1e1
41		 1e0
1157		 1e-1
1674		 1e-2
1692		 1e-3
1705		 1e-5
1729		 1e-7
1757		 #succ
14/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.4 (5)3.2 (3)5.0 (8)5.0 (6)5.0 (6)5.0 (5)5.0 (5)2/15
uBBDE-N Vodopija 3.6 (3)4.2 (3)6.2 (3)11 (8)14 (6)27 (8)34 (9)15/15
uBBDE-best Vodopija 1.9 (2)7.3 (8)11 (17)11 (17)11 (16)11 (16)11 (16)15/15
uBBDE-ttb Vodopija 6.0 (9)6.6 (7)8.3 (15)8.6 (15)8.8 (15)9.2 (15)10 (15)15/15
uBBDE Vodopija 10 (17)4.8 (4)10 (6)15 (5)20 (6)32 (8)38 (8)15/15
uDE-best Vodopija 8.1 (7)6.7 (7)11 (15)11 (15)11 (15)12 (14)12 (14)15/15
uDE-rand Vodopija 3.9 (7)4.8 (3)5.4 (2)6.5 (2)7.0 (2)7.9 (2)8.8 (2)15/15
uDE-ttb Vodopija 3.7 (3)4.4 (5)4.8 (9)5.2 (9)5.5 (9)6.0 (9)6.4 (9)15/15
BBDE-N Vodopija 2.0 (2)1.6 (1)2.2 (2)6.1 (2)10 (3)17 (5)23 (6)15/15
BBDE-best Vodopija 2.2 (2)5.3 (4)4.9 (6)4.9 (6)5.0 (6)5.1 (6)5.1 (6)15/15
BBDE-ttb Vodopija 2.3 (3)2.1 (2)2.8 (3)3.9 (3)4.9 (3)6.8 (3)10 (3)15/15
BBDE Vodopija 3.6 (4)2.8 (2)4.7 (2)10 (2)14 (4)21 (4)26 (4)15/15
BFGS-M-17 Blelly 2.6 (3)1.4 (2)2.5 (3)2.5 (3)2.5 (3)3.0 (2)32 (24)1/15
BFGS-P-09 Blelly 3.1 (3)2.6 (3)3.7 (4)3.7 (4)3.7 (4)3.7 (4)16 (15)1/15
BFGS-P-Instances Blelly 3.4 (3)1.2 (1)2.6 (2)2.6 (2)2.6 (2)2.6 (2)17 (21)3/15
BFGS-P-StPt Blelly 4.4 (8)1.6 (1)2.1 (5)2.1 (5)2.1 (5)2.7 (4)16 (16)3/15
BFGS-P-range Blelly 2.6 (2)1.6 (2)2.4 (2)2.4 (2)2.4 (2)2.5 (2)15 (23)3/15
CMAES-APOP-Var1 Nguyen 1.8 (3)8.2 (10)122 (299)179 (296)178 (294)175 (290)173 (286)12/15
CMAES-APOP-Var2 Nguyen 1.6 (1)23 (27)98 (217)150 (443)149 (293)148 (289)146 (435)13/15
CMAES-APOP-Var3 Nguyen 1.5 (1)10 (6)155 (299)154 (297)153 (294)151 (291)149 (286)12/15
DE-best Vodopija 4.5 (5)3.4 (5)5.2 (9)5.4 (9)5.6 (8)5.8 (8)6.2 (8)15/15
DE-rand Vodopija 2.8 (3)2.5 (2)3.8 (2)5.0 (1)5.4 (0.9)6.3 (1)7.2 (1)15/15
DE-ttb Vodopija 3.0 (3)2.2 (2)3.5 (5)3.8 (5)4.2 (5)4.8 (5)5.2 (5)15/15
PSA-CMA-ES Nishida 4.1 (4)10 (14)12 (16)12 (15)12 (15)12 (15)11 (15)15/15
PSA-CMA-ESwRS Nishida 2.0 (2)8.4 (14)14 (33)14 (32)14 (32)14 (32)14 (31)15/15

Δ fopt
f22, 5-D		 1e1
71		 1e0
386		 1e-1
938		 1e-2
980		 1e-3
1008		 1e-5
1040		 1e-7
1068		 #succ
14/15
DTS-CMA-ES 005-2pop v26 1model Bajer 3.6 (4)6.0 (7)6.0 (7)5.8 (5)5.7 (5)5.6 (5)8.2 (9)2/15
uBBDE-N Vodopija 5.1 (7)10 (6)11 (5)17 (7)23 (9)36 (7)45 (10)15/15
uBBDE-best Vodopija 5.1 (3)9.0 (9)7.8 (9)7.6 (9)7.5 (8)7.5 (8)7.5 (8)15/15
uBBDE-ttb Vodopija 4.1 (3)12 (25)6.9 (10)7.3 (9)7.5 (9)8.1 (9)8.7 (9)15/15
uBBDE Vodopija 9.0 (11)14 (14)15 (10)26 (11)34 (10)47 (11)57 (10)15/15
uDE-best Vodopija 5.6 (3)16 (19)11 (14)11 (14)11 (13)12 (13)13 (13)15/15
uDE-rand Vodopija 8.3 (10)17 (11)17 (13)19 (13)19 (12)22 (11)25 (10)15/15
uDE-ttb Vodopija 4.5 (4)8.8 (9)10 (13)11 (13)11 (13)13 (13)14 (13)15/15
BBDE-N Vodopija 3.9 (2)6.3 (4)7.3 (5)14 (9)18 (9)28 (8)38 (8)15/15
BBDE-best Vodopija 2.4 (1)7.0 (10)8.5 (11)8.3 (10)8.2 (10)8.1 (10)8.2 (9)15/15
BBDE-ttb Vodopija 5.0 (4)6.5 (5)5.6 (3)7.3 (3)8.5 (4)12 (3)17 (4)15/15
BBDE Vodopija 3.1 (4)7.4 (5)10 (8)16 (8)22 (6)32 (7)41 (8)15/15
BFGS-M-17 Blelly 2.8 (4)3.2 (3)3.1 (2)3.0 (2)3.1 (2)4.4 (3)30 (36)2/15
BFGS-P-09 Blelly 5.0 (8)4.3 (6)4.9 (4)4.8 (4)4.7 (4)8.4 (9)67 (80)0/15
BFGS-P-Instances Blelly 3.4 (3)2.2 (2)3.7 (5)3.5 (5)3.5 (5)6.7 (8)97 (77)0/15
BFGS-P-StPt Blelly 3.7 (4)2.6 (3)3.0 (3)2.9 (3)2.8 (3)6.9 (6)189 (359)1/15
BFGS-P-range Blelly 3.8 (5)2.2 (2)3.6 (3)3.5 (3)3.4 (3)7.2 (11)2898 (4284)1/15
CMAES-APOP-Var1 Nguyen 4.9 (11)26 (39)361 (639)782 (862)761 (1091)738 (577)719 (799)9/15
CMAES-APOP-Var2 Nguyen 4.9 (9)22 (38)362 (558)627 (1341)610 (923)688 (783)670 (940)9/15
CMAES-APOP-Var3 Nguyen 5.1 (11)6.5 (5)286 (989)478 (793)465 (1242)452 (534)440 (939)11/15
DE-best Vodopija 2.7 (2)9.5 (13)8.2 (11)8.5 (10)8.8 (10)10 (10)10 (9)15/15
DE-rand Vodopija 4.3 (3)12 (7)15 (14)17 (15)18 (14)20 (14)23 (13)15/15
DE-ttb Vodopija 3.6 (3)5.8 (5)8.5 (13)9.4 (13)10 (12)12 (12)13 (11)15/15
PSA-CMA-ES Nishida 2.7 (2)30 (34)57 (67)55 (64)54 (62)52 (60)51 (59)15/15
PSA-CMA-ESwRS Nishida 12 (11)14 (22)14 (12)13 (11)13 (11)13 (10)13 (10)15/15

Δ fopt
f23, 5-D		 1e1
3.0		 1e0
518		 1e-1
14249		 1e-2
27890		 1e-3
31654		 1e-5
33030		 1e-7
34256		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.3 (2)2.4 (3)0.65 (0.6)0.33 (0.2)0.59 (0.6)0.57 (0.9)∞12520/15
uBBDE-N Vodopija 3.1 (3)97 (92)∞∞∞∞∞3e50/15
uBBDE-best Vodopija 2.2 (2)16 (14)20 (23)131 (151)115 (115)∞∞3e50/15
uBBDE-ttb Vodopija 2.0 (2)76 (77)∞∞∞∞∞3e50/15
uBBDE Vodopija 3.1 (3)286 (311)∞∞∞∞∞3e50/15
uDE-best Vodopija 3.0 (2)54 (48)47 (36)24 (33)28 (24)27 (44)26 (17)4/15
uDE-rand Vodopija 3.2 (4)124 (153)56 (61)36 (40)32 (27)31 (30)30 (28)4/15
uDE-ttb Vodopija 2.3 (2)70 (70)∞∞∞∞∞3e50/15
BBDE-N Vodopija 2.4 (2)36 (28)∞∞∞∞∞3e50/15
BBDE-best Vodopija 2.2 (2)26 (17)272 (352)139 (125)123 (114)∞∞3e50/15
BBDE-ttb Vodopija 3.0 (4)31 (27)∞∞∞∞∞3e50/15
BBDE Vodopija 2.0 (1)50 (64)∞∞∞∞∞3e50/15
BFGS-M-17 Blelly 13 (5)24 (36)∞∞∞∞∞2e40/15
BFGS-P-09 Blelly 228 (528)88 (122)∞∞∞∞∞2e50/15
BFGS-P-Instances Blelly 136 (266)173 (170)∞∞∞∞∞2e50/15
BFGS-P-StPt Blelly 126 (346)284 (317)∞∞∞∞∞2e50/15
BFGS-P-range Blelly 166 (160)182 (198)∞∞∞∞∞2e50/15
CMAES-APOP-Var1 Nguyen 2.2 (2)8.6 (8)457 (579)∞∞∞∞1e60/15
CMAES-APOP-Var2 Nguyen 2.8 (3)18 (27)457 (491)502 (789)∞∞∞1e60/15
CMAES-APOP-Var3 Nguyen 2.5 (4)23 (39)457 (456)∞∞∞∞1e60/15
DE-best Vodopija 2.8 (3)52 (52)20 (14)12 (13)11 (10)10 (7)10 (9)9/15
DE-rand Vodopija 2.4 (2)44 (48)107 (98)55 (52)49 (56)47 (53)46 (28)3/15
DE-ttb Vodopija 3.0 (2)41 (36)∞∞∞∞∞3e50/15
PSA-CMA-ES Nishida 2.7 (2)57 (66)∞∞∞∞∞5e60/15
PSA-CMA-ESwRS Nishida 2.7 (2)44 (76)968 (970)496 (270)437 (515)419 (419)404 (258)5/15

Δ fopt
f24, 5-D		 1e1
1622		 1e0
2.2e5		 1e-1
6.4e6		 1e-2
9.6e6		 1e-3
9.6e6		 1e-5
1.3e7		 1e-7
1.3e7		 #succ
3/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.33 (0.3)★2↑1∞∞∞∞∞∞12530/15
uBBDE-N Vodopija 32 (23)∞∞∞∞∞∞3e50/15
uBBDE-best Vodopija 4.6 (4)3.6 (5)∞∞∞∞∞3e50/15
uBBDE-ttb Vodopija 10 (7)1.9 (2)0.32 (0.4)∞∞∞∞3e50/15
uBBDE Vodopija 48 (35)∞∞∞∞∞∞3e50/15
uDE-best Vodopija 7.4 (5)8.7 (12)∞∞∞∞∞3e50/15
uDE-rand Vodopija 38 (37)∞∞∞∞∞∞4e50/15
uDE-ttb Vodopija 16 (13)5.4 (5)∞∞∞∞∞3e50/15
BBDE-N Vodopija 22 (21)∞∞∞∞∞∞3e50/15
BBDE-best Vodopija 4.3 (3)5.2 (6)∞∞∞∞∞3e50/15
BBDE-ttb Vodopija 20 (14)1.4 (2)∞∞∞∞∞3e50/15
BBDE Vodopija 36 (30)∞∞∞∞∞∞3e50/15
BFGS-M-17 Blelly 38 (35)∞∞∞∞∞∞1e40/15
BFGS-P-09 Blelly 298 (367)∞∞∞∞∞∞3e40/15
BFGS-P-Instances Blelly 51 (77)∞∞∞∞∞∞4e40/15
BFGS-P-StPt Blelly 53 (58)∞∞∞∞∞∞3e40/15
BFGS-P-range Blelly 58 (89)∞∞∞∞∞∞3e40/15
CMAES-APOP-Var1 Nguyen 2.2 (3)20 (29)∞∞∞∞∞1e60/15
CMAES-APOP-Var2 Nguyen 1.9 (2)67 (101)2.3 (3)1.5 (1)1.5 (1)1.1 (1)1.1 (1)1/15
CMAES-APOP-Var3 Nguyen 3.2 (4)15 (15)1.1 (1)1.5 (2)1.5 (2)1.1 (1.0)1.1 (1)1/15
DE-best Vodopija 13 (16)3.7 (3)∞∞∞∞∞3e50/15
DE-rand Vodopija 30 (23)∞∞∞∞∞∞3e50/15
DE-ttb Vodopija 13 (13)8.4 (5)∞∞∞∞∞3e50/15
PSA-CMA-ES Nishida 2.1 (1)68 (99)5.5 (5)7.6 (7)7.6 (9)5.7 (6)5.7 (6)1/15
PSA-CMA-ESwRS Nishida 3.5 (3)10 (13)1.6 (1)3.8 (4)3.8 (4)2.9 (3)2.9 (2)2/15

Previous dimension | Dimension = 10 | Next dimension

Δ fopt
f1, 10-D		 1e1
22		 1e0
23		 1e-1
23		 1e-2
23		 1e-3
23		 1e-5
23		 1e-7
23		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.7 (0.5)3.9 (0.5)5.3 (0.6)6.5 (0.7)7.8 (0.6)10 (0.5)13 (0.7)15/15
uBBDE-N Vodopija 173 (47)522 (125)1052 (117)1517 (190)2129 (100)3221 (107)4228 (159)15/15
uBBDE-best Vodopija 13 (4)41 (15)68 (12)104 (21)138 (29)231 (69)409 (136)15/15
uBBDE-ttb Vodopija 48 (15)130 (18)226 (15)318 (19)413 (13)600 (23)783 (20)15/15
uBBDE Vodopija 339 (186)1129 (140)2030 (274)2993 (279)3915 (280)5820 (159)7740 (190)15/15
uDE-best Vodopija 41 (16)111 (15)186 (33)257 (33)331 (36)484 (68)640 (64)15/15
uDE-rand Vodopija 141 (64)403 (47)677 (54)961 (55)1234 (95)1752 (113)2302 (93)15/15
uDE-ttb Vodopija 45 (12)126 (24)220 (26)297 (35)383 (35)551 (34)726 (58)15/15
BBDE-N Vodopija 102 (40)419 (111)866 (85)1358 (147)1958 (69)2991 (128)4072 (121)15/15
BBDE-best Vodopija 15 (5)41 (9)69 (14)101 (13)134 (16)212 (31)340 (114)15/15
BBDE-ttb Vodopija 72 (46)376 (94)900 (99)1410 (243)2086 (219)3241 (155)4534 (88)15/15
BBDE Vodopija 137 (81)743 (117)1632 (289)2589 (156)3458 (209)5371 (202)7228 (226)15/15
BFGS-M-17 Blelly 1.0 (0)★41 (0)★41 (0)★41 (0)★41 (0)★41 (0)★41.5 (0)15/15
BFGS-P-09 Blelly 1.2 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)2.6 (1)14/15
BFGS-P-Instances Blelly 1.2 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.8 (1)15/15
BFGS-P-StPt Blelly 1.2 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.7 (0.8)13/15
BFGS-P-range Blelly 1.2 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.7 (0.8)15/15
CMAES-APOP-Var1 Nguyen 4.4 (1)11 (1)17 (2)23 (2)29 (2)42 (3)55 (3)15/15
CMAES-APOP-Var2 Nguyen 4.2 (2)11 (3)17 (3)23 (3)30 (3)42 (4)55 (5)15/15
CMAES-APOP-Var3 Nguyen 4.6 (2)11 (2)17 (2)24 (2)30 (2)43 (4)56 (6)15/15
DE-best Vodopija 30 (13)104 (29)171 (30)238 (42)307 (50)456 (48)598 (51)15/15
DE-rand Vodopija 67 (28)287 (53)567 (62)842 (55)1089 (61)1622 (69)2146 (107)15/15
DE-ttb Vodopija 32 (14)117 (26)201 (28)280 (35)376 (38)555 (47)711 (59)15/15
PSA-CMA-ES Nishida 18 (6)37 (12)56 (13)71 (13)88 (15)125 (14)156 (19)15/15
PSA-CMA-ESwRS Nishida 6.1 (2)13 (2)20 (4)26 (4)32 (5)44 (5)58 (4)15/15

Δ fopt
f2, 10-D		 1e1
187		 1e0
190		 1e-1
191		 1e-2
191		 1e-3
193		 1e-5
194		 1e-7
195		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.9 (0.5)3.4 (0.4)3.7 (0.4)3.9 (0.3)4.0 (0.2)4.3 (0.3)4.6 (0.2)15/15
uBBDE-N Vodopija 265 (28)332 (27)410 (17)481 (18)547 (22)690 (19)828 (21)15/15
uBBDE-best Vodopija 343 (332)1884 (2094)1.3e4 (2e4)4.3e4 (4e4)∞∞∞5e50/15
uBBDE-ttb Vodopija 52 (4)63 (4)74 (4)84 (5)96 (3)116 (4)138 (3)15/15
uBBDE Vodopija 507 (26)606 (37)725 (22)834 (29)953 (28)1164 (42)1403 (24)15/15
uDE-best Vodopija 39 (6)48 (7)56 (8)65 (9)72 (8)89 (7)106 (8)15/15
uDE-rand Vodopija 139 (11)168 (12)201 (11)230 (12)262 (10)322 (12)385 (13)15/15
uDE-ttb Vodopija 45 (5)55 (6)65 (7)75 (6)85 (8)105 (8)125 (9)15/15
BBDE-N Vodopija 182 (16)241 (19)316 (18)378 (21)452 (17)595 (28)743 (22)15/15
BBDE-best Vodopija 85 (141)279 (372)376 (432)1133 (1629)1925 (2218)1.2e4 (2e4)4.0e4 (3e4)0/15
BBDE-ttb Vodopija 176 (26)247 (24)315 (28)398 (23)457 (27)607 (15)755 (30)15/15
BBDE Vodopija 273 (23)383 (28)497 (19)610 (29)713 (28)943 (23)1164 (21)15/15
BFGS-M-17 Blelly 10 (2)16 (7)17 (7)29 (26)38 (34)102 (85)1.6e4 (2e4)0/15
BFGS-P-09 Blelly 3.4 (0.9)3.6 (1)3.8 (1)4.1 (1)4.3 (1)4.7 (2)5.2 (2)15/15
BFGS-P-Instances Blelly 3.4 (1)3.6 (1)3.8 (2)4.0 (2)4.2 (2)4.6 (2)5.2 (2)15/15
BFGS-P-StPt Blelly 2.6 (1.0)2.8 (1)3.0 (1)3.3 (1)3.6 (2)4.0 (2)4.3 (2)15/15
BFGS-P-range Blelly 3.0 (0.9)3.3 (0.9)3.5 (1)3.7 (1)3.9 (1)4.6 (2)5.1 (2)15/15
CMAES-APOP-Var1 Nguyen 20 (5)23 (3)25 (3)26 (2)26 (2)28 (2)29 (2)15/15
CMAES-APOP-Var2 Nguyen 20 (5)24 (0.9)25 (0.9)26 (1)27 (1)28 (0.9)30 (0.9)15/15
CMAES-APOP-Var3 Nguyen 20 (3)24 (3)25 (2)26 (2)27 (2)28 (2)30 (2)15/15
DE-best Vodopija 34 (4)42 (6)50 (7)60 (8)68 (9)84 (11)101 (11)15/15
DE-rand Vodopija 91 (5)119 (8)150 (11)185 (12)212 (12)277 (12)340 (16)15/15
DE-ttb Vodopija 39 (4)48 (4)57 (3)68 (4)77 (4)98 (6)117 (6)15/15
PSA-CMA-ES Nishida 26 (4)29 (4)32 (4)35 (4)36 (3)40 (3)45 (5)15/15
PSA-CMA-ESwRS Nishida 22 (4)25 (1)27 (1)27 (1)28 (1)30 (1)31 (2)15/15

Δ fopt
f3, 10-D		 1e1
1739		 1e0
3600		 1e-1
3609		 1e-2
3636		 1e-3
3642		 1e-5
3646		 1e-7
3651		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.9 (2)∞∞∞∞∞∞25060/15
uBBDE-N Vodopija 297 (347)∞∞∞∞∞∞5e50/15
uBBDE-best Vodopija 950 (869)∞∞∞∞∞∞5e50/15
uBBDE-ttb Vodopija 63 (13)∞∞∞∞∞∞6e50/15
uBBDE Vodopija ∞∞∞∞∞∞∞5e50/15
uDE-best Vodopija 22 (6)20 (9)48 (46)48 (46)48 (46)49 (46)50 (46)14/15
uDE-rand Vodopija 116 (31)132 (10)134 (11)135 (11)136 (11)195 (112)247 (175)7/15
uDE-ttb Vodopija 45 (9)53 (6)55 (6)55 (6)56 (6)57 (6)58 (6)15/15
BBDE-N Vodopija 644 (475)∞∞∞∞∞∞5e50/15
BBDE-best Vodopija 193 (264)∞∞∞∞∞∞5e50/15
BBDE-ttb Vodopija 84 (47)∞∞∞∞∞∞5e50/15
BBDE Vodopija ∞∞∞∞∞∞∞5e50/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞4e40/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞8e40/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞8e40/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞8e40/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞8e40/15
CMAES-APOP-Var1 Nguyen 15 (5)157 (145)648 (795)645 (710)644 (648)644 (534)644 (608)9/15
CMAES-APOP-Var2 Nguyen 9.3 (10)115 (84)649 (715)646 (699)645 (824)645 (602)645 (835)8/15
CMAES-APOP-Var3 Nguyen 8.4 (8)198 (190)913 (904)906 (1065)905 (835)905 (886)904 (981)7/15
DE-best Vodopija 20 (7)30 (35)61 (63)61 (63)62 (63)62 (62)63 (62)15/15
DE-rand Vodopija 108 (35)122 (7)124 (8)125 (8)127 (8)150 (70)180 (70)10/15
DE-ttb Vodopija 44 (17)50 (9)55 (13)55 (13)56 (13)57 (13)58 (13)15/15
PSA-CMA-ES Nishida 15 (5)151 (180)1800 (2245)1787 (2131)1784 (1342)1782 (1384)1780 (1670)13/15
PSA-CMA-ESwRS Nishida 7.7 (7)181 (184)1450 (1828)1440 (2143)1437 (1814)1436 (1837)1434 (1501)12/15

Δ fopt
f4, 10-D		 1e1
2234		 1e0
3626		 1e-1
3660		 1e-2
3695		 1e-3
3707		 1e-5
3744		 1e-7
28767		 #succ
12/15
DTS-CMA-ES 005-2pop v26 1model Bajer ∞∞∞∞∞∞∞25050/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞5e50/15
uBBDE-best Vodopija 1088 (1320)∞∞∞∞∞∞5e50/15
uBBDE-ttb Vodopija 88 (57)∞∞∞∞∞∞6e50/15
uBBDE Vodopija ∞∞∞∞∞∞∞5e50/15
uDE-best Vodopija 13 (3)161 (131)1017 (1683)1008 (1072)1006 (570)997 (1231)130 (187)2/15
uDE-rand Vodopija 106 (29)223 (212)335 (343)401 (306)1001 (1073)995 (1166)260 (309)1/15
uDE-ttb Vodopija 38 (6)59 (20)79 (41)79 (41)80 (41)80 (40)11 (5)15/15
BBDE-N Vodopija ∞∞∞∞∞∞∞5e50/15
BBDE-best Vodopija 608 (601)∞∞∞∞∞∞5e50/15
BBDE-ttb Vodopija 93 (30)2037 (1758)∞∞∞∞∞5e50/15
BBDE Vodopija ∞∞∞∞∞∞∞5e50/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞5e40/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞9e40/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞9e40/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞9e40/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞8e40/15
CMAES-APOP-Var1 Nguyen 10 (2)∞∞∞∞∞∞2e60/15
CMAES-APOP-Var2 Nguyen 11 (3)∞∞∞∞∞∞2e60/15
CMAES-APOP-Var3 Nguyen 9.3 (2)∞∞∞∞∞∞2e60/15
DE-best Vodopija 15 (4)163 (197)∞∞∞∞∞5e50/15
DE-rand Vodopija 100 (12)151 (69)198 (106)248 (173)332 (236)664 (535)260 (326)1/15
DE-ttb Vodopija 39 (10)60 (24)111 (82)111 (79)111 (89)112 (88)15 (11)13/15
PSA-CMA-ES Nishida 6.6 (1)∞∞∞∞∞∞1e70/15
PSA-CMA-ESwRS Nishida 8.6 (3)∞∞∞∞∞∞1e70/15

Δ fopt
f5, 10-D		 1e1
20		 1e0
20		 1e-1
20		 1e-2
20		 1e-3
20		 1e-5
20		 1e-7
20		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 4.3 (2)7.7 (2)10 (2)10 (2)10 (2)10 (2)10 (2)15/15
uBBDE-N Vodopija 100 (38)127 (49)130 (45)130 (45)130 (45)130 (45)130 (45)15/15
uBBDE-best Vodopija 10 (1)10 (2)10 (2)10 (2)10 (2)10 (2)10 (2)15/15
uBBDE-ttb Vodopija 11 (4)11 (4)11 (4)11 (4)11 (4)11 (4)11 (4)15/15
uBBDE Vodopija 40 (24)45 (26)46 (24)46 (24)46 (24)46 (24)46 (24)15/15
uDE-best Vodopija 14 (4)18 (7)18 (7)18 (7)18 (7)18 (7)18 (7)15/15
uDE-rand Vodopija 50 (12)64 (20)67 (21)67 (21)67 (21)67 (21)67 (21)15/15
uDE-ttb Vodopija 21 (6)30 (12)31 (12)31 (12)31 (12)31 (12)31 (12)15/15
BBDE-N Vodopija 2498 (301)7262 (457)1.3e4 (375)1.9e4 (467)3.7e4 (3e4)∞∞5e50/15
BBDE-best Vodopija 334 (263)1.0e4 (1e4)5.2e4 (7e4)∞∞∞∞6e50/15
BBDE-ttb Vodopija 1017 (234)3777 (780)8011 (527)1.2e4 (898)1.6e4 (1166)9.3e4 (1e5)∞5e50/15
BBDE Vodopija 4774 (850)1.5e4 (1003)9.3e4 (1e5)∞∞∞∞5e50/15
BFGS-M-17 Blelly 2.1 (0.3)2.8 (0.6)2.9 (0.6)3.0 (0.6)3.0 (0.6)3.0 (0.6)3.0 (0.6)15/15
BFGS-P-09 Blelly 1.7 (0.3)2.3 (0.6)2.5 (0.6)2.5 (0.6)2.5 (0.6)2.5 (0.6)2.5 (0.6)15/15
BFGS-P-Instances Blelly 1.7 (0.3)2.5 (0.6)2.6 (0.3)2.6 (0.3)2.6 (0.3)2.6 (0.3)2.6 (0.3)15/15
BFGS-P-StPt Blelly 1.3 (0)2.5 (0)2.5 (0)2.5 (0)2.5 (0)2.5 (0)2.5 (0)15/15
BFGS-P-range Blelly 1.7 (0.3)2.4 (0.3)2.5 (0.6)2.5 (0.6)2.5 (0.6)2.5 (0.6)2.5 (0.6)15/15
CMAES-APOP-Var1 Nguyen 4.6 (1)5.8 (2)6.2 (2)6.2 (2)6.2 (2)6.2 (2)6.2 (2)15/15
CMAES-APOP-Var2 Nguyen 5.0 (2)5.9 (1)6.1 (1)6.1 (1)6.1 (1)6.1 (1)6.1 (1)15/15
CMAES-APOP-Var3 Nguyen 5.1 (1)6.4 (0.9)6.6 (1)6.6 (1)6.6 (1)6.6 (1)6.6 (1)15/15
DE-best Vodopija 268 (67)855 (91)1596 (107)2307 (192)3088 (184)4510 (235)5981 (287)15/15
DE-rand Vodopija 744 (88)2139 (129)3671 (149)5156 (262)6642 (268)9676 (261)1.3e4 (364)15/15
DE-ttb Vodopija 274 (30)749 (65)1241 (95)1733 (112)2237 (134)3222 (162)4218 (239)15/15
PSA-CMA-ES Nishida 5.0 (2)6.3 (2)6.7 (2)6.7 (2)6.7 (2)6.7 (2)6.7 (2)15/15
PSA-CMA-ESwRS Nishida 5.0 (1)6.5 (2)6.6 (2)6.6 (2)6.6 (2)6.6 (2)6.6 (2)15/15

Δ fopt
f6, 10-D		 1e1
412		 1e0
623		 1e-1
826		 1e-2
1039		 1e-3
1292		 1e-5
1841		 1e-7
2370		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 21 (24)∞∞∞∞∞∞25010/15
uBBDE-N Vodopija 106 (20)127 (11)133 (12)143 (7)142 (7)139 (5)138 (5)15/15
uBBDE-best Vodopija 12 (19)41 (36)181 (189)522 (696)1259 (1684)∞∞5e50/15
uBBDE-ttb Vodopija 18 (3)18 (2)18 (2)18 (1.0)18 (1)16 (0.8)16 (0.5)15/15
uBBDE Vodopija 360 (34)335 (21)327 (14)318 (14)305 (12)2035 (2715)∞5e50/15
uDE-best Vodopija 30 (8)38 (8)41 (8)43 (6)44 (7)43 (6)43 (7)15/15
uDE-rand Vodopija 105 (6)106 (7)107 (9)108 (8)104 (7)98 (5)96 (4)15/15
uDE-ttb Vodopija 23 (5)26 (2)27 (2)28 (1)28 (2)28 (2)27 (2)15/15
BBDE-N Vodopija 49 (18)85 (8)99 (10)113 (6)117 (4)119 (5)124 (5)15/15
BBDE-best Vodopija 5.2 (2)20 (42)56 (65)383 (466)1853 (1336)∞∞5e50/15
BBDE-ttb Vodopija 42 (10)69 (12)90 (12)100 (11)113 (9)123 (8)136 (7)15/15
BBDE Vodopija 106 (14)165 (16)198 (14)214 (6)223 (7)221 (5)∞5e50/15
BFGS-M-17 Blelly 2.7 (2)3.4 (1)4.0 (1)7.1 (5)43 (35)∞∞4e50/15
BFGS-P-09 Blelly 5.4 (3)5.2 (2)5.5 (2)6.4 (4)6.8 (4)8.5 (5)97 (205)9/15
BFGS-P-Instances Blelly 4.7 (2)4.3 (2)4.8 (3)5.2 (3)5.5 (3)7.0 (4)53 (120)10/15
BFGS-P-StPt Blelly 4.1 (2)3.7 (2)4.3 (2)4.5 (2)4.7 (1)4.8 (1)95 (253)8/15
BFGS-P-range Blelly 4.6 (3)4.3 (2)4.5 (2)5.5 (2)6.2 (3)8.7 (4)111 (176)9/15
CMAES-APOP-Var1 Nguyen 1.6 (0.5)1.7 (0.3)1.8 (0.3)1.8 (0.2)1.7 (0.3)1.7 (0.1)1.6 (0.1)15/15
CMAES-APOP-Var2 Nguyen 1.6 (0.4)1.6 (0.2)1.6 (0.1)1.7 (0.2)1.8 (0.3)1.7 (0.3)1.7 (0.3)15/15
CMAES-APOP-Var3 Nguyen 1.6 (0.4)1.7 (0.3)1.8 (0.2)1.7 (0.2)1.7 (0.2)1.6 (0.2)1.6 (0.2)15/15
DE-best Vodopija 14 (5)27 (4)32 (5)36 (5)38 (5)40 (6)41 (5)15/15
DE-rand Vodopija 49 (10)73 (8)83 (9)87 (8)88 (7)86 (6)87 (6)15/15
DE-ttb Vodopija 14 (4)20 (3)24 (3)25 (2)26 (2)25 (3)26 (2)15/15
PSA-CMA-ES Nishida 11 (2)11 (2)12 (1)12 (1)12 (1)11 (0.8)11 (0.8)15/15
PSA-CMA-ESwRS Nishida 1.9 (0.7)1.9 (0.6)1.9 (0.4)1.9 (0.3)1.8 (0.4)1.7 (0.3)1.7 (0.2)15/15

Δ fopt
f7, 10-D		 1e1
172		 1e0
1611		 1e-1
4195		 1e-2
5099		 1e-3
5141		 1e-5
5141		 1e-7
5389		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.69 (0.1)★4↑00.80 (0.7)0.94 (0.6)1.4 (1)1.4 (0.8)1.4 (1)1.3 (1)3/15
uBBDE-N Vodopija 62 (13)21 (4)16 (3)29 (6)31 (4)31 (4)31 (4)15/15
uBBDE-best Vodopija 6.3 (3)37 (28)840 (1077)∞∞∞∞5e50/15
uBBDE-ttb Vodopija 15 (5)3.6 (0.7)2.0 (0.1)2.4 (0.3)2.5 (0.2)2.5 (0.2)2.5 (0.3)15/15
uBBDE Vodopija 128 (35)36 (10)29 (4)42 (4)43 (3)43 (3)45 (4)15/15
uDE-best Vodopija 21 (9)7.6 (3)5.9 (2)6.4 (2)6.4 (2)6.4 (2)6.4 (2)15/15
uDE-rand Vodopija 136 (61)41 (10)28 (9)31 (11)32 (11)32 (11)32 (11)15/15
uDE-ttb Vodopija 21 (7)7.6 (1)4.9 (1)5.9 (1)6.0 (1)6.0 (1)6.1 (1)15/15
BBDE-N Vodopija 40 (16)18 (3)14 (4)26 (5)28 (4)28 (4)29 (4)15/15
BBDE-best Vodopija 5.9 (3)16 (15)101 (118)∞∞∞∞5e50/15
BBDE-ttb Vodopija 39 (13)18 (6)13 (4)20 (3)20 (4)20 (4)20 (3)15/15
BBDE Vodopija 74 (29)31 (7)25 (5)41 (5)41 (5)41 (5)43 (6)15/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞11110/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞13000/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞13000/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞13000/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞13000/15
CMAES-APOP-Var1 Nguyen 1.7 (0.7)2.8 (2)1.6 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)15/15
CMAES-APOP-Var2 Nguyen 2.0 (0.8)2.7 (2)1.4 (0.8)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.6 (0.1)15/15
CMAES-APOP-Var3 Nguyen 2.1 (0.6)3.1 (2)1.7 (0.2)1.7 (0.1)1.7 (0.1)1.7 (0.1)1.7 (0.1)15/15
DE-best Vodopija 14 (7)5.1 (2)4.4 (1)5.6 (2)5.7 (2)5.7 (2)5.7 (2)15/15
DE-rand Vodopija 63 (18)32 (8)25 (7)29 (8)29 (8)29 (8)29 (8)15/15
DE-ttb Vodopija 16 (4)5.8 (2)4.5 (1)5.5 (2)5.7 (1)5.7 (1)5.8 (2)15/15
PSA-CMA-ES Nishida 6.7 (2)1.4 (0.2)0.69 (0.2)↑00.71 (0.1)↑00.72 (0.1)↑00.72 (0.1)↑00.69 (0.1)↑015/15
PSA-CMA-ESwRS Nishida 2.4 (0.9)1.5 (0.9)0.96 (0.1)0.97 (0.1)0.97 (0.1)0.97 (0.1)0.93 (0.1)15/15

Δ fopt
f8, 10-D		 1e1
326		 1e0
921		 1e-1
1114		 1e-2
1217		 1e-3
1267		 1e-5
1315		 1e-7
1343		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.94 (0.2)★1.2 (0.2)1.2 (0.2)1.1 (0.2)1.1 (0.2)1.2 (0.1)1.2 (0.1)14/15
uBBDE-N Vodopija 152 (20)151 (55)189 (21)196 (16)207 (17)237 (20)269 (26)15/15
uBBDE-best Vodopija 9.0 (4)242 (334)1079 (2153)1889 (2509)∞∞∞5e50/15
uBBDE-ttb Vodopija 23 (3)26 (19)25 (16)25 (14)25 (14)27 (13)30 (13)15/15
uBBDE Vodopija 324 (71)254 (45)271 (27)277 (25)291 (28)351 (29)670 (666)5/15
uDE-best Vodopija 19 (4)24 (4)27 (3)30 (4)34 (3)41 (4)49 (4)15/15
uDE-rand Vodopija 100 (8)104 (3)114 (4)125 (5)142 (7)180 (9)219 (10)15/15
uDE-ttb Vodopija 25 (6)30 (2)33 (2)35 (2)39 (2)49 (2)58 (3)15/15
BBDE-N Vodopija 110 (23)112 (34)156 (26)166 (20)178 (22)205 (27)235 (28)15/15
BBDE-best Vodopija 11 (7)214 (242)728 (993)2976 (2030)6140 (5874)5922 (5750)∞5e50/15
BBDE-ttb Vodopija 109 (37)96 (16)98 (14)103 (13)111 (12)133 (12)157 (15)15/15
BBDE Vodopija 231 (27)208 (27)221 (13)229 (15)244 (14)280 (20)316 (20)15/15
BFGS-M-17 Blelly 1.7 (1)1.6 (0.7)1.4 (0.6)1.3 (0.5)1.3 (0.5)1.9 (1)26 (29)4/15
BFGS-P-09 Blelly 2.5 (1)2.0 (1)1.8 (1)1.7 (1)1.6 (1.0)1.6 (0.9)1.6 (0.9)15/15
BFGS-P-Instances Blelly 2.0 (1)2.0 (1)1.7 (1)1.6 (1.0)1.6 (0.9)1.6 (0.9)1.6 (0.9)15/15
BFGS-P-StPt Blelly 1.9 (0.8)2.1 (2)1.8 (1)1.7 (1)1.7 (1)1.7 (1)1.6 (1)15/15
BFGS-P-range Blelly 2.6 (1)2.0 (2)1.8 (1)1.7 (1)1.6 (1)1.6 (1)1.6 (1)15/15
CMAES-APOP-Var1 Nguyen 2.0 (0.9)8.6 (12)8.6 (12)8.6 (12)8.6 (11)8.9 (12)9.1 (12)15/15
CMAES-APOP-Var2 Nguyen 1.8 (0.4)7.4 (12)7.4 (12)7.3 (12)7.4 (12)7.6 (12)7.8 (12)15/15
CMAES-APOP-Var3 Nguyen 2.2 (1)3.9 (0.8)4.1 (0.7)4.1 (0.6)4.2 (0.6)4.3 (0.5)4.5 (0.5)15/15
DE-best Vodopija 21 (5)39 (50)40 (42)41 (38)44 (36)52 (33)60 (34)15/15
DE-rand Vodopija 79 (8)98 (4)107 (5)119 (7)138 (5)175 (6)211 (8)15/15
DE-ttb Vodopija 23 (3)28 (3)31 (1)34 (1.0)37 (2)47 (2)58 (2)15/15
PSA-CMA-ES Nishida 7.8 (2)9.3 (0.6)10 (0.5)10 (0.5)10 (0.4)10 (0.4)11 (0.3)15/15
PSA-CMA-ESwRS Nishida 3.2 (1)5.6 (7)5.7 (6)5.6 (6)5.7 (6)5.8 (6)6.0 (6)15/15

Δ fopt
f9, 10-D		 1e1
200		 1e0
648		 1e-1
857		 1e-2
993		 1e-3
1065		 1e-5
1138		 1e-7
1185		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.5 (0.8)2.0 (2)1.7 (1)1.6 (1)1.5 (1)1.5 (1)1.5 (1)13/15
uBBDE-N Vodopija 215 (37)164 (52)219 (19)220 (12)226 (12)255 (18)286 (16)15/15
uBBDE-best Vodopija 25 (10)229 (196)1033 (753)3595 (4490)3519 (3950)∞∞5e50/15
uBBDE-ttb Vodopija 36 (5)32 (5)29 (4)27 (3)27 (3)29 (3)31 (3)15/15
uBBDE Vodopija 489 (84)350 (54)333 (18)323 (15)331 (16)362 (19)397 (18)6/15
uDE-best Vodopija 36 (10)72 (12)73 (14)76 (12)84 (10)104 (13)125 (17)15/15
uDE-rand Vodopija 159 (14)191 (24)212 (28)238 (31)278 (36)412 (52)2096 (2737)1/15
uDE-ttb Vodopija 40 (8)49 (10)58 (8)65 (9)75 (12)100 (12)127 (17)15/15
BBDE-N Vodopija 181 (23)154 (49)189 (39)200 (19)207 (15)235 (17)271 (13)15/15
BBDE-best Vodopija 18 (13)269 (350)641 (528)1618 (1004)3334 (3494)∞∞5e50/15
BBDE-ttb Vodopija 192 (40)198 (21)174 (20)166 (17)167 (19)188 (19)211 (20)14/15
BBDE Vodopija 390 (31)311 (42)300 (20)293 (19)301 (18)338 (17)370 (18)14/15
BFGS-M-17 Blelly 2.1 (1.0)2.3 (1)1.8 (0.8)1.7 (0.7)1.6 (0.6)1.6 (0.7)10 (10)10/15
BFGS-P-09 Blelly 3.4 (1)2.6 (1)2.1 (1)1.9 (0.9)1.8 (0.9)1.7 (0.8)1.7 (0.8)15/15
BFGS-P-Instances Blelly 3.4 (2)2.4 (1)1.9 (0.9)1.7 (0.8)1.6 (0.8)1.6 (0.7)1.5 (0.7)15/15
BFGS-P-StPt Blelly 1.3 (0)0.54 (0)★4↑00.52 (0)★4↑00.52 (6e-3)★4↑00.51 (6e-3)★4↑00.51 (0.0)★4↑00.51 (0.0)★4↑015/15
BFGS-P-range Blelly 2.7 (1.0)2.3 (1)1.9 (1)1.7 (1.0)1.6 (0.9)1.5 (0.8)1.5 (0.8)15/15
CMAES-APOP-Var1 Nguyen 2.8 (0.9)9.5 (14)8.8 (12)8.3 (11)8.1 (11)8.2 (11)8.2 (11)15/15
CMAES-APOP-Var2 Nguyen 2.6 (0.6)7.6 (2)7.1 (1)6.7 (1)6.6 (1)6.6 (1)6.7 (1.0)15/15
CMAES-APOP-Var3 Nguyen 2.5 (0.5)5.3 (0.6)5.1 (0.5)4.8 (0.5)4.8 (0.4)4.8 (0.3)4.9 (0.3)15/15
DE-best Vodopija 35 (8)53 (6)58 (7)64 (10)73 (12)93 (13)115 (15)15/15
DE-rand Vodopija 144 (14)185 (22)211 (24)237 (28)276 (25)440 (229)6293 (6330)0/15
DE-ttb Vodopija 40 (8)56 (10)62 (13)68 (10)78 (9)103 (9)128 (17)15/15
PSA-CMA-ES Nishida 12 (3)13 (1)12 (0.7)12 (0.7)12 (0.7)12 (0.6)12 (0.7)15/15
PSA-CMA-ESwRS Nishida 5.0 (4)7.9 (2)7.2 (1)6.7 (1)6.6 (1.0)6.5 (0.9)6.6 (0.9)15/15

Δ fopt
f10, 10-D		 1e1
1835		 1e0
2172		 1e-1
2455		 1e-2
2728		 1e-3
2802		 1e-5
4543		 1e-7
4739		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.30 (0.1)↑00.32 (0.0)↑00.31 (0.0)↑00.29 (0.0)↑00.30 (0.0)↑00.20 (0.0)↑00.20 (0.0)↑015/15
uBBDE-N Vodopija 27 (3)29 (2)31 (2)33 (2)38 (2)29 (1)34 (1)15/15
uBBDE-best Vodopija 65 (74)346 (392)460 (351)3032 (3019)∞∞∞5e50/15
uBBDE-ttb Vodopija 5.5 (0.5)5.6 (0.4)5.7 (0.4)5.9 (0.2)6.5 (0.3)5.0 (0.2)5.7 (0.3)15/15
uBBDE Vodopija 52 (3)54 (2)57 (3)60 (2)65 (3)50 (1)57 (1)15/15
uDE-best Vodopija 51 (7)57 (7)62 (9)67 (6)77 (6)61 (4)72 (4)15/15
uDE-rand Vodopija ∞∞∞∞∞∞∞5e50/15
uDE-ttb Vodopija 63 (7)72 (7)81 (6)89 (7)101 (8)81 (5)95 (5)9/15
BBDE-N Vodopija 26 (2)29 (2)32 (2)34 (1)38 (2)30 (2)36 (2)15/15
BBDE-best Vodopija 51 (63)206 (184)620 (684)1011 (883)2976 (4342)∞∞5e50/15
BBDE-ttb Vodopija 28 (5)31 (4)34 (4)36 (4)40 (3)31 (2)36 (3)15/15
BBDE Vodopija 47 (5)52 (2)55 (3)58 (2)63 (3)49 (2)56 (1)15/15
BFGS-M-17 Blelly 1.1 (0.5)2.4 (2)3.0 (2)2.7 (2)3.1 (2)9.0 (13)∞2e50/15
BFGS-P-09 Blelly 0.32 (0.1)↑00.28 (0.1)↑00.28 (0.1)↑00.26 (0.1)↑00.27 (0.1)↑00.19 (0.1)↑00.21 (0.1)↑015/15
BFGS-P-Instances Blelly 0.32 (0.1)↑00.30 (0.1)↑00.28 (0.1)↑00.28 (0.1)↑00.29 (0.1)↑00.19 (0.1)↑00.20 (0.1)↑015/15
BFGS-P-StPt Blelly 0.35 (0.1)↑00.32 (0.1)↑00.30 (0.1)↑00.29 (0.0)↑00.31 (0.0)↑00.21 (0.0)↑00.22 (0.0)↑015/15
BFGS-P-range Blelly 0.38 (0.1)↑10.35 (0.1)↑10.33 (0.1)↑00.32 (0.1)↑00.34 (0.1)↑00.23 (0.1)↑00.24 (0.1)↑015/15
CMAES-APOP-Var1 Nguyen 2.1 (0.3)2.0 (0.3)2.0 (0.2)1.8 (0.1)1.9 (0.1)1.2 (0.1)1.2 (0.1)15/15
CMAES-APOP-Var2 Nguyen 2.1 (0.5)2.0 (0.3)2.0 (0.1)1.8 (0.1)1.8 (0.1)1.2 (0.1)1.2 (0.1)15/15
CMAES-APOP-Var3 Nguyen 2.0 (0.5)1.9 (0.3)2.0 (0.2)1.9 (0.2)1.9 (0.1)1.2 (0.1)1.3 (0.1)15/15
DE-best Vodopija 45 (5)52 (5)58 (6)63 (5)72 (4)58 (4)70 (6)15/15
DE-rand Vodopija 1007 (545)∞∞∞∞∞∞5e50/15
DE-ttb Vodopija 50 (5)59 (6)69 (4)78 (5)91 (7)75 (4)89 (3)15/15
PSA-CMA-ES Nishida 2.7 (0.4)2.6 (0.3)2.6 (0.2)2.5 (0.2)2.6 (0.2)1.7 (0.2)1.8 (0.2)15/15
PSA-CMA-ESwRS Nishida 2.1 (0.4)2.1 (0.2)2.0 (0.1)1.9 (0.1)1.9 (0.1)1.2 (0.1)1.2 (0.1)15/15

Δ fopt
f11, 10-D		 1e1
266		 1e0
1041		 1e-1
2602		 1e-2
2954		 1e-3
3338		 1e-5
4092		 1e-7
4843		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.7 (0.2)0.51 (0.0)↑00.22 (0.0)↑00.21 (0.0)↑00.20 (0.0)↑00.18 (0.0)↑00.16 (0.0)↑015/15
uBBDE-N Vodopija 84 (16)36 (6)21 (2)23 (2)26 (2)29 (1)31 (1)15/15
uBBDE-best Vodopija 9.1 (3)11 (2)16 (21)30 (38)66 (63)145 (114)366 (382)2/15
uBBDE-ttb Vodopija 20 (2)7.4 (0.4)3.8 (0.2)4.0 (0.2)4.2 (0.1)4.5 (0.1)4.7 (0.1)15/15
uBBDE Vodopija 232 (25)82 (6)42 (2)44 (2)45 (2)48 (1)50 (2)15/15
uDE-best Vodopija 124 (39)61 (11)37 (7)43 (6)47 (7)53 (8)57 (8)15/15
uDE-rand Vodopija 1201 (254)1369 (1307)2875 (3748)∞∞∞∞5e50/15
uDE-ttb Vodopija 158 (36)79 (12)46 (7)53 (7)59 (8)67 (9)72 (10)15/15
BBDE-N Vodopija 43 (12)23 (4)14 (1)17 (2)20 (0.5)22 (1)25 (0.8)15/15
BBDE-best Vodopija 22 (6)12 (26)15 (19)23 (29)40 (47)190 (281)772 (811)2/15
BBDE-ttb Vodopija 47 (9)25 (4)16 (2)19 (2)22 (2)25 (2)27 (1)15/15
BBDE Vodopija 89 (17)46 (5)28 (3)32 (2)35 (2)39 (2)42 (2)15/15
BFGS-M-17 Blelly 1.3 (0.7)0.99 (0.6)0.86 (0.7)1.4 (2)3.4 (5)59 (94)∞6e40/15
BFGS-P-09 Blelly 3.2 (2)0.87 (0.7)0.37 (0.3)↑10.34 (0.2)↑10.32 (0.2)↑10.29 (0.2)↑10.32 (0.2)↑113/15
BFGS-P-Instances Blelly 1.9 (2)0.52 (0.4)↑10.22 (0.2)↑00.21 (0.2)↑00.20 (0.1)↑00.18 (0.1)↑00.23 (0.2)↑014/15
BFGS-P-StPt Blelly 1.5 (2)0.45 (0.5)0.20 (0.2)↑00.19 (0.2)↑00.18 (0.2)↑00.17 (0.2)↑00.35 (0.5)12/15
BFGS-P-range Blelly 1.5 (1.0)0.41 (0.3)↑00.18 (0.1)↑00.17 (0.1)↑00.17 (0.1)↑00.16 (0.1)↑00.89 (0.5)12/15
CMAES-APOP-Var1 Nguyen 13 (2)3.8 (0.2)1.7 (0.1)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.1 (0.1)15/15
CMAES-APOP-Var2 Nguyen 13 (2)3.8 (0.4)1.7 (0.2)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.2 (0.1)15/15
CMAES-APOP-Var3 Nguyen 13 (2)3.7 (0.3)1.6 (0.1)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.1 (0.1)15/15
DE-best Vodopija 86 (28)52 (9)32 (5)39 (6)43 (7)49 (7)54 (5)15/15
DE-rand Vodopija 528 (148)308 (78)453 (345)∞∞∞∞5e50/15
DE-ttb Vodopija 84 (26)59 (11)38 (5)47 (8)54 (9)63 (8)69 (10)15/15
PSA-CMA-ES Nishida 16 (2)4.8 (0.3)2.1 (0.1)2.0 (0.2)1.9 (0.1)1.8 (0.1)1.7 (0.1)15/15
PSA-CMA-ESwRS Nishida 14 (1)4.0 (0.4)1.7 (0.1)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.2 (0.1)15/15

Δ fopt
f12, 10-D		 1e1
515		 1e0
896		 1e-1
1240		 1e-2
1390		 1e-3
1569		 1e-5
3660		 1e-7
5154		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.0 (0.9)1.2 (1)1.3 (2)1.4 (1)1.5 (1)★1.1 (1)1.4 (1.0)3/15
uBBDE-N Vodopija 243 (50)242 (91)328 (257)579 (778)1435 (1753)630 (888)457 (443)3/15
uBBDE-best Vodopija 60 (70)116 (105)359 (265)1244 (1110)2335 (1952)∞∞5e50/15
uBBDE-ttb Vodopija 28 (2)23 (9)22 (11)23 (11)24 (10)13 (5)10 (4)15/15
uBBDE Vodopija 474 (70)393 (98)773 (860)1704 (1439)1532 (1674)1006 (1156)1446 (1625)1/15
uDE-best Vodopija 80 (47)92 (80)114 (85)134 (78)153 (66)100 (31)100 (65)10/15
uDE-rand Vodopija 717 (807)527 (364)1491 (1416)∞∞∞∞5e50/15
uDE-ttb Vodopija 112 (86)107 (58)132 (62)156 (62)194 (58)129 (74)234 (267)2/15
BBDE-N Vodopija 181 (24)163 (53)232 (106)302 (207)529 (593)957 (1469)689 (677)2/15
BBDE-best Vodopija 26 (37)120 (155)238 (263)617 (667)1072 (946)∞∞5e50/15
BBDE-ttb Vodopija 163 (56)140 (62)137 (59)141 (52)146 (50)80 (25)72 (21)14/15
BBDE Vodopija 347 (47)297 (70)365 (243)820 (963)2279 (3415)999 (1093)1441 (1722)1/15
BFGS-M-17 Blelly 1.0 (0.5)2.0 (3)6.3 (5)20 (28)180 (159)∞∞4e40/15
BFGS-P-09 Blelly 4.5 (4)3.4 (2)2.9 (2)2.7 (2)2.5 (1)1.2 (0.6)1.2 (0.6)15/15
BFGS-P-Instances Blelly 4.6 (3)3.5 (2)2.9 (1)2.8 (1)2.6 (1)1.2 (0.5)0.93 (0.3)15/15
BFGS-P-StPt Blelly 3.5 (2)2.8 (1)2.4 (1)2.3 (1.0)2.1 (0.8)1.1 (0.4)1.0 (0.4)15/15
BFGS-P-range Blelly 4.3 (3)3.4 (2)2.9 (1)2.7 (1)2.5 (1)1.2 (0.5)1.0 (0.3)15/15
CMAES-APOP-Var1 Nguyen 2.2 (0.5)3.5 (3)4.2 (3)4.6 (3)4.7 (3)2.6 (1)2.2 (1.0)15/15
CMAES-APOP-Var2 Nguyen 3.2 (2)4.8 (4)5.1 (4)5.4 (4)5.6 (3)3.0 (2)2.5 (1)15/15
CMAES-APOP-Var3 Nguyen 3.1 (2)3.0 (2)3.5 (3)4.0 (2)4.3 (2)2.4 (1)2.0 (0.8)15/15
DE-best Vodopija 48 (18)61 (52)99 (89)122 (92)144 (85)116 (81)109 (51)10/15
DE-rand Vodopija 415 (90)399 (99)828 (1114)∞∞∞∞5e50/15
DE-ttb Vodopija 85 (29)91 (37)118 (59)162 (62)188 (59)149 (75)229 (342)4/15
PSA-CMA-ES Nishida 8.0 (5)6.8 (5)6.6 (5)7.5 (4)8.2 (4)5.0 (2)4.3 (1)15/15
PSA-CMA-ESwRS Nishida 3.8 (3)4.5 (4)5.0 (3)5.1 (2)5.2 (2)2.8 (0.9)2.3 (0.7)15/15

Δ fopt
f13, 10-D		 1e1
387		 1e0
596		 1e-1
797		 1e-2
1014		 1e-3
4587		 1e-5
6208		 1e-7
7779		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.73 (0.3)1.2 (1)1.2 (0.8)1.0 (0.6)0.28 (0.2)↑00.63 (0.7)1.1 (0.8)3/15
uBBDE-N Vodopija 104 (6)108 (5)112 (3)112 (3)30 (1)31 (0.8)32 (0.7)15/15
uBBDE-best Vodopija 25 (36)138 (159)258 (233)297 (314)180 (159)1200 (1013)∞5e50/15
uBBDE-ttb Vodopija 21 (1)21 (0.7)21 (0.6)21 (0.6)5.5 (0.1)5.4 (0.1)5.4 (0.1)15/15
uBBDE Vodopija 198 (9)198 (8)200 (4)198 (6)52 (1.0)52 (0.9)52 (0.9)15/15
uDE-best Vodopija 29 (6)45 (8)75 (11)106 (13)36 (3)46 (2)54 (2)13/15
uDE-rand Vodopija 151 (24)248 (60)439 (92)7378 (9494)∞∞∞5e50/15
uDE-ttb Vodopija 35 (8)59 (9)96 (18)135 (23)46 (7)61 (6)∞5e50/15
BBDE-N Vodopija 93 (10)100 (5)107 (5)109 (2)30 (0.8)31 (0.5)32 (0.5)15/15
BBDE-best Vodopija 14 (16)45 (54)170 (247)438 (454)181 (203)573 (699)∞5e50/15
BBDE-ttb Vodopija 101 (8)109 (10)114 (5)122 (7)33 (1)33 (1)34 (0.8)15/15
BBDE Vodopija 174 (11)180 (8)187 (5)187 (7)51 (1)51 (0.9)51 (0.9)15/15
BFGS-M-17 Blelly 1.00 (0.2)1.1 (0.1)1.0 (0.0)1.0 (0.1)0.27 (6e-3)↑0∞∞2e50/15
BFGS-P-09 Blelly 0.83 (0.0)↑00.79 (0.0)↑00.73 (0.0)↑00.70 (0.0)↑00.19 (9e-3)↑0132 (308)∞2e60/15
BFGS-P-Instances Blelly 0.85 (0.1)↑00.79 (0.1)↑00.74 (0.1)↑00.72 (0.0)↑00.19 (0.0)↑01.7 (1)2247 (2986)0/15
BFGS-P-StPt Blelly 0.82 (0.1)↑00.79 (0.1)↑00.73 (0.0)↑00.71 (0.0)↑00.18 (7e-3)↑0102 (273)4039 (3935)0/15
BFGS-P-range Blelly 0.85 (0.1)↑00.78 (0.0)↑00.74 (0.0)↑00.71 (0.0)↑00.19 (9e-3)↑071 (75)2605 (3310)0/15
CMAES-APOP-Var1 Nguyen 2.5 (2)4.9 (3)7.7 (7)6.5 (6)1.6 (1)2.0 (1)2.3 (1)15/15
CMAES-APOP-Var2 Nguyen 3.1 (2)5.1 (3)5.4 (2)4.8 (1)1.5 (1)1.8 (2)2.3 (1)15/15
CMAES-APOP-Var3 Nguyen 3.1 (2)4.3 (3)7.1 (7)7.1 (6)1.8 (1)2.0 (1)2.4 (1)15/15
DE-best Vodopija 30 (7)49 (12)81 (22)108 (23)36 (6)47 (5)54 (4)10/15
DE-rand Vodopija 135 (13)249 (46)423 (85)∞∞∞∞5e50/15
DE-ttb Vodopija 33 (7)57 (15)96 (21)134 (23)46 (6)62 (6)∞5e50/15
PSA-CMA-ES Nishida 5.6 (0.9)5.4 (1)6.0 (1)5.7 (0.7)1.6 (0.1)1.5 (0.1)1.5 (0.1)15/15
PSA-CMA-ESwRS Nishida 2.7 (1)5.0 (3)5.6 (4)5.6 (3)1.6 (1.0)1.9 (0.9)2.0 (0.7)15/15

Δ fopt
f14, 10-D		 1e1
37		 1e0
98		 1e-1
133		 1e-2
205		 1e-3
392		 1e-5
687		 1e-7
4305		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.3 (0.4)1.3 (0.3)1.4 (0.2)1.4 (0.2)1.1 (0.1)1.1 (0.1)0.29 (0.1)↑011/15
uBBDE-N Vodopija 15 (19)134 (20)216 (20)219 (18)157 (14)144 (5)32 (0.9)15/15
uBBDE-best Vodopija 6.6 (3)10 (3)14 (3)17 (5)22 (7)144 (143)108 (97)6/15
uBBDE-ttb Vodopija 10 (6)29 (6)42 (4)41 (2)28 (1)24 (0.7)5.1 (0.2)15/15
uBBDE Vodopija 48 (44)299 (46)439 (41)428 (24)299 (13)256 (10)55 (2)15/15
uDE-best Vodopija 15 (13)34 (10)42 (10)43 (7)43 (10)112 (15)36 (3)15/15
uDE-rand Vodopija 53 (51)159 (29)176 (22)187 (24)261 (51)1160 (412)∞5e50/15
uDE-ttb Vodopija 10 (10)35 (10)45 (8)46 (7)51 (5)127 (10)45 (2)15/15
BBDE-N Vodopija 14 (12)83 (22)172 (13)186 (15)141 (9)134 (5)30 (1)15/15
BBDE-best Vodopija 5.3 (3)8.6 (3)13 (3)15 (3)22 (20)123 (108)108 (88)4/15
BBDE-ttb Vodopija 8.1 (10)70 (22)155 (33)191 (33)149 (9)141 (8)33 (1)15/15
BBDE Vodopija 17 (16)149 (33)307 (36)341 (23)255 (16)234 (6)51 (2)15/15
BFGS-M-17 Blelly 2.0 (1)2.0 (1.0)2.0 (0.8)1.7 (0.7)1.2 (0.4)1.1 (0.3)12 (17)1/15
BFGS-P-09 Blelly 1.4 (0.3)1.0 (0.2)1.2 (0.3)1.1 (0.2)0.82 (0.2)↑00.72 (0.1)↑02.0 (3)1/15
BFGS-P-Instances Blelly 1.4 (0.5)1.0 (0.3)1.2 (0.3)1.2 (0.2)0.81 (0.1)↑10.71 (0.1)↑016 (24)2/15
BFGS-P-StPt Blelly 1.1 (0.3)0.76 (0.3)0.94 (0.2)1.0 (0.3)0.74 (0.2)↑00.68 (0.1)↑03.7 (9)2/15
BFGS-P-range Blelly 1.3 (0.3)0.96 (0.3)1.1 (0.3)1.1 (0.3)0.77 (0.1)↑00.71 (0.1)↑03.8 (6)3/15
CMAES-APOP-Var1 Nguyen 1.4 (0.8)2.5 (0.6)3.3 (0.7)3.7 (0.6)3.6 (0.6)4.9 (0.4)1.3 (0.1)15/15
CMAES-APOP-Var2 Nguyen 1.7 (0.8)2.7 (0.4)3.4 (0.5)3.8 (0.5)3.9 (0.6)5.1 (0.4)1.4 (0.1)15/15
CMAES-APOP-Var3 Nguyen 1.5 (1)2.7 (0.6)3.6 (0.7)3.9 (0.8)3.9 (0.6)5.0 (0.5)1.3 (0.1)15/15
DE-best Vodopija 5.5 (5)23 (5)35 (5)38 (5)40 (8)106 (14)37 (3)15/15
DE-rand Vodopija 11 (9)72 (13)117 (13)156 (22)229 (42)833 (405)∞5e50/15
DE-ttb Vodopija 7.4 (5)25 (5)37 (4)43 (4)46 (8)129 (14)44 (3)15/15
PSA-CMA-ES Nishida 5.7 (6)11 (2)13 (3)12 (2)9.3 (1)9.0 (0.6)2.0 (0.1)15/15
PSA-CMA-ESwRS Nishida 2.1 (2)3.3 (0.9)4.0 (0.8)4.4 (0.6)3.9 (0.3)5.4 (0.5)1.4 (0.1)15/15

Δ fopt
f15, 10-D		 1e1
4774		 1e0
39246		 1e-1
73643		 1e-2
74669		 1e-3
75790		 1e-5
77814		 1e-7
79834		 #succ
12/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.36 (0.4)∞∞∞∞∞∞25060/15
uBBDE-N Vodopija 228 (163)∞∞∞∞∞∞5e50/15
uBBDE-best Vodopija 257 (209)∞∞∞∞∞∞5e50/15
uBBDE-ttb Vodopija 20 (5)∞∞∞∞∞∞6e50/15
uBBDE Vodopija ∞∞∞∞∞∞∞5e50/15
uDE-best Vodopija 44 (20)∞∞∞∞∞∞6e50/15
uDE-rand Vodopija ∞∞∞∞∞∞∞5e50/15
uDE-ttb Vodopija 189 (207)∞∞∞∞∞∞5e50/15
BBDE-N Vodopija 240 (169)∞∞∞∞∞∞5e50/15
BBDE-best Vodopija 139 (100)∞∞∞∞∞∞5e50/15
BBDE-ttb Vodopija 43 (26)∞∞∞∞∞∞5e50/15
BBDE Vodopija ∞∞∞∞∞∞∞5e50/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞4e40/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞8e40/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞9e40/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞8e40/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞8e40/15
CMAES-APOP-Var1 Nguyen 3.2 (2)0.63 (0.1)↑00.37 (0.1)↑00.38 (0.1)↑00.40 (0.1)↑00.41 (0.1)↑00.42 (0.1)↑015/15
CMAES-APOP-Var2 Nguyen 2.9 (2)0.63 (0.2)↑00.39 (0.1)↑00.41 (0.1)↑00.42 (0.1)↑00.43 (0.1)↑00.43 (0.1)↑015/15
CMAES-APOP-Var3 Nguyen 3.6 (3)0.68 (0.2)↑00.42 (0.1)↑00.44 (0.1)↑00.45 (0.1)↑00.46 (0.1)↑00.46 (0.1)↑015/15
DE-best Vodopija 60 (30)∞∞∞∞∞∞6e50/15
DE-rand Vodopija ∞∞∞∞∞∞∞5e50/15
DE-ttb Vodopija 127 (58)∞∞∞∞∞∞5e50/15
PSA-CMA-ES Nishida 4.6 (2)0.60 (0.2)↑00.38 (0.2)↑00.38 (0.2)↑00.38 (0.2)↑00.38 (0.2)↑00.38 (0.2)↑015/15
PSA-CMA-ESwRS Nishida 3.5 (3)0.69 (0.2)0.78 (0.5)0.78 (0.5)0.77 (0.5)0.76 (0.5)0.75 (0.5)15/15

Δ fopt
f16, 10-D		 1e1
425		 1e0
7029		 1e-1
15779		 1e-2
45669		 1e-3
51151		 1e-5
65798		 1e-7
71570		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.37 (0.1)★2↑00.42 (0.4)∞∞∞∞∞25030/15
uBBDE-N Vodopija 22 (22)1044 (658)∞∞∞∞∞5e50/15
uBBDE-best Vodopija 4.8 (3)13 (12)236 (338)∞∞∞∞5e50/15
uBBDE-ttb Vodopija 75 (71)28 (10)17 (9)11 (9)20 (17)24 (26)22 (20)5/15
uBBDE Vodopija 258 (209)∞∞∞∞∞∞5e50/15
uDE-best Vodopija 154 (168)40 (22)62 (74)37 (33)43 (40)75 (99)69 (60)2/15
uDE-rand Vodopija 545 (722)∞∞∞∞∞∞5e50/15
uDE-ttb Vodopija 123 (154)∞∞∞∞∞∞5e50/15
BBDE-N Vodopija 15 (11)128 (156)∞∞∞∞∞5e50/15
BBDE-best Vodopija 5.7 (4)6.7 (8)469 (706)∞∞∞∞5e50/15
BBDE-ttb Vodopija 34 (27)38 (26)50 (50)80 (59)∞∞∞5e50/15
BBDE Vodopija 38 (26)∞∞∞∞∞∞5e50/15
BFGS-M-17 Blelly 682 (923)∞∞∞∞∞∞4e40/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞4e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞5e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞4e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞4e50/15
CMAES-APOP-Var1 Nguyen 2.9 (1)13 (18)7.0 (8)2.6 (3)2.4 (2)1.9 (2)1.8 (2)15/15
CMAES-APOP-Var2 Nguyen 2.2 (1)13 (13)13 (12)4.5 (4)4.1 (4)3.2 (3)3.0 (3)15/15
CMAES-APOP-Var3 Nguyen 2.6 (1)10 (21)8.3 (9)3.0 (3)2.9 (3)2.3 (2)2.1 (2)15/15
DE-best Vodopija 50 (45)46 (13)42 (33)34 (29)49 (53)79 (60)73 (74)2/15
DE-rand Vodopija 67 (83)∞∞∞∞∞∞5e50/15
DE-ttb Vodopija 74 (62)∞∞∞∞∞∞5e50/15
PSA-CMA-ES Nishida 79 (69)189 (216)85 (96)30 (33)30 (30)25 (23)23 (21)14/15
PSA-CMA-ESwRS Nishida 3.0 (3)27 (39)14 (16)4.9 (5)4.4 (5)3.5 (4)3.2 (3)15/15

Δ fopt
f17, 10-D		 1e1
26		 1e0
429		 1e-1
2203		 1e-2
6329		 1e-3
9851		 1e-5
20190		 1e-7
26503		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.5 (1)1.9 (3)5.2 (4)5.8 (6)∞∞∞25020/15
uBBDE-N Vodopija 4.9 (9)105 (31)122 (27)1172 (1146)∞∞∞5e50/15
uBBDE-best Vodopija 5.7 (6)204 (280)3702 (2913)∞∞∞∞5e50/15
uBBDE-ttb Vodopija 5.2 (7)13 (4)5.6 (0.9)3.3 (0.5)3.0 (0.3)6.8 (4)8.9 (8)14/15
uBBDE Vodopija 9.1 (16)186 (47)139 (15)∞∞∞∞5e50/15
uDE-best Vodopija 9.4 (13)12 (3)6.1 (2)3.8 (0.5)3.5 (0.4)20 (31)48 (56)5/15
uDE-rand Vodopija 13 (33)51 (8)29 (3)19 (2)19 (2)17 (1)23 (15)5/15
uDE-ttb Vodopija 6.1 (7)13 (4)6.7 (0.9)4.4 (0.5)4.3 (0.5)3.8 (0.3)4.1 (0.5)15/15
BBDE-N Vodopija 5.0 (6)62 (26)96 (18)294 (356)∞∞∞5e50/15
BBDE-best Vodopija 2.5 (2)13 (26)3721 (2353)∞∞∞∞6e50/15
BBDE-ttb Vodopija 3.5 (3)44 (13)39 (12)36 (12)49 (31)120 (105)∞5e50/15
BBDE Vodopija 5.6 (6)107 (44)117 (12)592 (513)∞∞∞5e50/15
BFGS-M-17 Blelly 127 (166)∞∞∞∞∞∞1e50/15
BFGS-P-09 Blelly 44 (67)∞∞∞∞∞∞1e50/15
BFGS-P-Instances Blelly 141 (183)∞∞∞∞∞∞1e50/15
BFGS-P-StPt Blelly 58 (163)∞∞∞∞∞∞1e50/15
BFGS-P-range Blelly 34 (35)∞∞∞∞∞∞1e50/15
CMAES-APOP-Var1 Nguyen 0.95 (1)1.0 (0.6)1.3 (3)1.4 (1)1.8 (1)1.3 (0.1)1.1 (0.1)15/15
CMAES-APOP-Var2 Nguyen 1.0 (1)0.91 (0.2)0.44 (0.1)↑01.5 (2)2.0 (0.3)1.3 (0.1)1.2 (0.2)15/15
CMAES-APOP-Var3 Nguyen 0.94 (1)0.95 (0.2)0.43 (0.1)↑01.5 (1)2.1 (0.4)1.3 (0.2)1.1 (0.2)15/15
DE-best Vodopija 3.7 (3)10 (3)5.7 (2)3.7 (1.0)11 (26)15 (31)29 (40)7/15
DE-rand Vodopija 4.4 (6)40 (8)26 (3)18 (2)17 (1)17 (1)19 (0.9)3/15
DE-ttb Vodopija 6.7 (7)12 (4)6.9 (2)4.4 (0.9)4.2 (0.7)3.7 (0.5)10 (18)12/15
PSA-CMA-ES Nishida 3.0 (3)4.1 (0.8)1.5 (0.2)0.79 (0.1)↑00.71 (0.1)↑00.58 (0.0)↑00.56 (0.0)↑015/15
PSA-CMA-ESwRS Nishida 2.5 (2)1.1 (0.2)0.73 (0.1)↑11.4 (0.9)1.4 (0.1)0.91 (0.1)↑10.82 (0.1)↑015/15

Δ fopt
f18, 10-D		 1e1
238		 1e0
836		 1e-1
7012		 1e-2
15928		 1e-3
27536		 1e-5
37234		 1e-7
42708		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.94 (0.3)★↑14.7 (7)∞∞∞∞∞25020/15
uBBDE-N Vodopija 49 (27)147 (35)60 (5)∞∞∞∞5e50/15
uBBDE-best Vodopija 27 (3)1271 (1329)∞∞∞∞∞5e50/15
uBBDE-ttb Vodopija 9.5 (2)10 (1)2.6 (0.5)13 (16)14 (18)16 (12)21 (26)5/15
uBBDE Vodopija 103 (60)232 (33)77 (38)∞∞∞∞5e50/15
uDE-best Vodopija 11 (7)17 (8)10 (5)13 (17)13 (14)92 (87)∞5e50/15
uDE-rand Vodopija 42 (13)76 (14)28 (5)25 (4)∞∞∞5e50/15
uDE-ttb Vodopija 13 (4)17 (4)5.5 (1)4.9 (1)4.3 (0.9)5.6 (1)7.0 (1)14/15
BBDE-N Vodopija 22 (18)120 (26)56 (10)∞∞∞∞5e50/15
BBDE-best Vodopija 4.0 (3)385 (473)∞∞∞∞∞5e50/15
BBDE-ttb Vodopija 19 (13)68 (18)22 (8)41 (36)65 (54)∞∞5e50/15
BBDE Vodopija 40 (29)173 (28)59 (8)∞∞∞∞5e50/15
BFGS-M-17 Blelly 647 (588)∞∞∞∞∞∞9e40/15
BFGS-P-09 Blelly 7748 (8956)∞∞∞∞∞∞1e50/15
BFGS-P-Instances Blelly 3840 (4674)∞∞∞∞∞∞1e50/15
BFGS-P-StPt Blelly 3543 (3669)∞∞∞∞∞∞1e50/15
BFGS-P-range Blelly 1995 (1909)∞∞∞∞∞∞1e50/15
CMAES-APOP-Var1 Nguyen 0.95 (0.4)1.9 (0.4)1.5 (1)1.1 (0.2)0.79 (0.1)↑00.74 (0.1)↑00.76 (0.1)↑015/15
CMAES-APOP-Var2 Nguyen 0.98 (0.5)2.9 (7)1.4 (1)1.1 (0.6)0.82 (0.1)↑00.77 (0.1)↑00.79 (0.1)↑015/15
CMAES-APOP-Var3 Nguyen 1.00 (0.4)1.1 (0.4)1.4 (1)1.1 (0.6)0.75 (0.1)↑00.75 (0.1)↑00.76 (0.1)↑015/15
DE-best Vodopija 8.4 (5)15 (5)4.7 (3)5.7 (1)8.0 (9)41 (84)81 (73)2/15
DE-rand Vodopija 21 (6)71 (16)28 (5)26 (4)272 (227)∞∞5e50/15
DE-ttb Vodopija 8.3 (3)15 (7)5.7 (2)7.0 (2)5.8 (2)8.3 (7)11 (7)11/15
PSA-CMA-ES Nishida 3.5 (1)3.5 (0.7)0.68 (0.1)↑00.43 (0.1)↑00.37 (0.0)↑10.41 (0.0)↑00.43 (0.0)↑015/15
PSA-CMA-ESwRS Nishida 1.1 (0.4)1.0 (0.3)1.0 (0.8)0.87 (0.1)↑10.63 (0.1)↑10.60 (0.1)↑10.59 (0.0)↑115/15

Δ fopt
f19, 10-D		 1e1
1		 1e0
1		 1e-1
10609		 1e-2
9.8e5		 1e-3
1.4e6		 1e-5
1.4e6		 1e-7
1.4e6		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 43 (10)755 (756)3.4 (3)∞∞∞∞25020/15
uBBDE-N Vodopija 855 (820)∞∞∞∞∞∞5e50/15
uBBDE-best Vodopija 275 (152)9.2e4 (1e5)354 (267)∞∞∞∞5e50/15
uBBDE-ttb Vodopija 348 (164)1.7e6 (2e6)∞∞∞∞∞5e50/15
uBBDE Vodopija 2035 (1923)∞∞∞∞∞∞5e50/15
uDE-best Vodopija 454 (271)2.0e6 (2e6)∞∞∞∞∞5e50/15
uDE-rand Vodopija 1276 (1135)∞∞∞∞∞∞5e50/15
uDE-ttb Vodopija 461 (379)2.4e6 (3e6)∞∞∞∞∞5e50/15
BBDE-N Vodopija 377 (324)∞∞∞∞∞∞5e50/15
BBDE-best Vodopija 194 (68)1.7e5 (2e5)∞∞∞∞∞5e50/15
BBDE-ttb Vodopija 331 (306)3.5e6 (4e6)∞∞∞∞∞5e50/15
BBDE Vodopija 420 (382)7.2e6 (7e6)∞∞∞∞∞5e50/15
BFGS-M-17 Blelly 6224 (7348)3.3e5 (5e5)∞∞∞∞∞5e40/15
BFGS-P-09 Blelly 4.0e4 (6e4)4.4e6 (4e6)∞∞∞∞∞3e50/15
BFGS-P-Instances Blelly 5.5e4 (8e4)4.3e6 (5e6)∞∞∞∞∞3e50/15
BFGS-P-StPt Blelly 1 (0)1 (0)7.2e-3 (2e-3)★4↑0∞∞∞∞3e50/15
BFGS-P-range Blelly 6290 (1e4)1.0e6 (1e6)∞∞∞∞∞3e50/15
CMAES-APOP-Var1 Nguyen 1 (0)1 (0)9.5 (3)0.22 (0.1)↑10.25 (0.4)↑00.25 (0.4)↑00.26 (0.4)↑015/15
CMAES-APOP-Var2 Nguyen 1 (0)1 (0)8.3 (2)0.27 (0.2)↑00.40 (0.4)↑10.40 (0.4)↑10.41 (0.4)↑115/15
CMAES-APOP-Var3 Nguyen 1 (0)1 (0)10 (3)0.25 (0.3)↑00.27 (0.3)↑00.27 (0.3)↑00.28 (0.3)↑015/15
DE-best Vodopija 340 (246)1.5e6 (1e6)∞∞∞∞∞5e50/15
DE-rand Vodopija 454 (324)7.4e6 (7e6)∞∞∞∞∞5e50/15
DE-ttb Vodopija 301 (172)7.4e6 (9e6)∞∞∞∞∞5e50/15
PSA-CMA-ES Nishida 165 (174)5.7e4 (4e4)19 (4)1.1 (2)1.8 (3)1.8 (3)1.7 (3)14/15
PSA-CMA-ESwRS Nishida 68 (42)4.1e4 (5e4)19 (3)0.78 (1.0)1.2 (1)1.2 (1)1.2 (1)15/15

Δ fopt
f20, 10-D		 1e1
32		 1e0
15426		 1e-1
5.5e5		 1e-2
5.7e5		 1e-3
5.7e5		 1e-5
5.8e5		 1e-7
5.9e5		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.3 (0.4)2.3 (3)∞∞∞∞∞25030/15
uBBDE-N Vodopija 142 (65)10 (7)∞∞∞∞∞5e50/15
uBBDE-best Vodopija 15 (5)33 (33)∞∞∞∞∞5e50/15
uBBDE-ttb Vodopija 40 (15)2.2 (0.9)14 (16)14 (16)14 (15)13 (13)13 (18)1/15
uBBDE Vodopija 300 (90)159 (161)∞∞∞∞∞5e50/15
uDE-best Vodopija 37 (12)1.3 (0.6)1.5 (1)1.4 (2)1.4 (2)1.4 (2)1.4 (2)7/15
uDE-rand Vodopija 162 (40)35 (34)14 (25)13 (13)13 (17)13 (10)13 (11)0/15
uDE-ttb Vodopija 48 (23)3.3 (1)1.5 (1)1.5 (1)1.5 (1)1.5 (2)1.5 (1)7/15
BBDE-N Vodopija 72 (28)11 (8)∞∞∞∞∞5e50/15
BBDE-best Vodopija 13 (5)40 (51)∞∞∞∞∞5e50/15
BBDE-ttb Vodopija 75 (33)4.9 (1)6.4 (11)6.2 (10)6.2 (10)6.2 (6)6.2 (6)2/15
BBDE Vodopija 120 (52)151 (316)∞∞∞∞∞5e50/15
BFGS-M-17 Blelly 2.1 (0.3)1.3 (1)∞∞∞∞∞9e40/15
BFGS-P-09 Blelly 8.7 (1)1.8 (2)∞∞∞∞∞1e50/15
BFGS-P-Instances Blelly 10 (2)1.3 (1)∞∞∞∞∞1e50/15
BFGS-P-StPt Blelly 17 (3)1.5 (2)∞∞∞∞∞1e50/15
BFGS-P-range Blelly 10 (3)3.5 (3)∞∞∞∞∞1e50/15
CMAES-APOP-Var1 Nguyen 3.4 (2)4.4 (2)0.38 (0.2)↑00.39 (0.2)↑00.40 (0.2)↑00.40 (0.2)↑00.40 (0.2)↑015/15
CMAES-APOP-Var2 Nguyen 3.3 (2)3.8 (2)0.41 (0.2)↑00.43 (0.2)↑00.44 (0.2)↑00.44 (0.2)↑00.44 (0.2)↑015/15
CMAES-APOP-Var3 Nguyen 3.9 (2)4.6 (2)0.49 (0.4)0.51 (0.4)0.52 (0.4)0.52 (0.4)0.52 (0.4)15/15
DE-best Vodopija 35 (12)1.4 (0.6)1.9 (2)1.9 (2)1.9 (2)1.8 (2)1.8 (2)6/15
DE-rand Vodopija 73 (40)46 (35)∞∞∞∞∞5e50/15
DE-ttb Vodopija 38 (11)3.1 (2)0.82 (0.9)0.80 (0.9)0.80 (0.7)0.80 (0.6)0.79 (0.6)11/15
PSA-CMA-ES Nishida 19 (8)2.6 (1)3.2 (4)3.1 (4)3.1 (4)3.0 (4)3.0 (4)15/15
PSA-CMA-ESwRS Nishida 6.1 (2)3.5 (1)4.1 (4)3.9 (3)3.9 (3)3.8 (3)3.8 (3)15/15

Δ fopt
f21, 10-D		 1e1
130		 1e0
2236		 1e-1
4392		 1e-2
4487		 1e-3
4618		 1e-5
5074		 1e-7
11329		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 3.3 (7)4.6 (4)∞∞∞∞∞25110/15
uBBDE-N Vodopija 35 (21)13 (6)14 (4)26 (9)35 (11)49 (10)27 (5)15/15
uBBDE-best Vodopija 29 (35)40 (57)31 (36)30 (36)30 (34)27 (31)12 (14)15/15
uBBDE-ttb Vodopija 19 (10)13 (13)9.0 (13)9.1 (13)9.0 (13)8.6 (12)4.1 (5)15/15
uBBDE Vodopija 122 (47)31 (11)35 (9)45 (6)55 (8)63 (6)32 (2)15/15
uDE-best Vodopija 38 (13)16 (18)20 (24)20 (24)20 (23)19 (21)8.7 (9)15/15
uDE-rand Vodopija 174 (133)35 (35)22 (18)24 (18)24 (18)25 (16)12 (7)15/15
uDE-ttb Vodopija 21 (12)15 (19)12 (10)12 (10)12 (9)11 (9)5.4 (4)15/15
BBDE-N Vodopija 23 (11)7.8 (3)10 (3)18 (6)26 (8)36 (11)21 (5)15/15
BBDE-best Vodopija 11 (4)19 (25)17 (29)17 (28)17 (27)15 (25)6.9 (11)15/15
BBDE-ttb Vodopija 33 (18)7.5 (4)5.8 (3)7.7 (3)9.0 (3)12 (3)7.1 (1)15/15
BBDE Vodopija 51 (38)18 (7)21 (6)31 (10)37 (10)45 (9)24 (4)15/15
BFGS-M-17 Blelly 3.4 (3)2.3 (3)2.1 (2)2.1 (2)2.1 (2)6.5 (7)29 (39)0/15
BFGS-P-09 Blelly 3.7 (3)2.9 (4)3.0 (4)3.0 (4)2.9 (3)3.0 (3)17 (29)0/15
BFGS-P-Instances Blelly 4.1 (6)2.3 (4)2.8 (6)2.7 (5)2.7 (4)2.6 (4)25 (18)0/15
BFGS-P-StPt Blelly 2.7 (5)3.0 (6)2.5 (4)2.4 (4)2.4 (4)2.2 (4)7.8 (7)0/15
BFGS-P-range Blelly 2.3 (4)3.0 (5)2.7 (3)2.7 (3)2.6 (3)3.2 (3)11 (13)0/15
CMAES-APOP-Var1 Nguyen 4.2 (3)13 (33)11 (20)11 (19)11 (19)10 (17)4.6 (8)15/15
CMAES-APOP-Var2 Nguyen 3.6 (1.0)18 (37)20 (34)19 (34)19 (33)18 (30)8.0 (13)15/15
CMAES-APOP-Var3 Nguyen 1.4 (0.8)6.2 (9)8.0 (9)8.0 (9)7.9 (8)7.4 (8)3.4 (4)15/15
DE-best Vodopija 15 (9)15 (21)11 (13)11 (13)11 (12)10 (11)4.9 (5)15/15
DE-rand Vodopija 75 (34)22 (5)15 (4)16 (4)17 (4)18 (4)9.3 (2)15/15
DE-ttb Vodopija 17 (11)12 (22)14 (24)14 (24)14 (24)14 (21)6.4 (10)15/15
PSA-CMA-ES Nishida 8.0 (5)47 (98)99 (217)97 (212)94 (206)86 (188)38 (84)15/15
PSA-CMA-ESwRS Nishida 5.4 (14)10 (12)32 (45)31 (44)30 (43)28 (39)12 (18)15/15

Δ fopt
f22, 10-D		 1e1
98		 1e0
2839		 1e-1
6353		 1e-2
6620		 1e-3
6798		 1e-5
8296		 1e-7
10351		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 10 (19)5.8 (6)5.6 (6)5.4 (5)5.2 (6)4.3 (5)3.5 (4)1/15
uBBDE-N Vodopija 80 (30)16 (6)25 (21)32 (18)35 (17)37 (11)33 (11)14/15
uBBDE-best Vodopija 69 (117)16 (21)18 (17)17 (16)17 (16)14 (13)14 (14)14/15
uBBDE-ttb Vodopija 68 (23)18 (20)14 (24)14 (23)14 (22)12 (18)10 (15)15/15
uBBDE Vodopija 224 (111)39 (17)31 (8)36 (8)38 (7)36 (6)33 (6)15/15
uDE-best Vodopija 47 (15)50 (49)36 (36)35 (34)35 (34)30 (27)25 (22)14/15
uDE-rand Vodopija 179 (101)168 (246)1313 (915)1264 (1332)1234 (1431)1018 (919)823 (851)1/15
uDE-ttb Vodopija 39 (16)18 (24)33 (47)33 (39)33 (42)28 (35)24 (31)13/15
BBDE-N Vodopija 46 (16)13 (7)17 (11)23 (12)26 (10)26 (9)25 (6)15/15
BBDE-best Vodopija 37 (62)18 (26)23 (30)22 (29)22 (28)18 (23)15 (18)14/15
BBDE-ttb Vodopija 53 (25)10 (6)17 (16)18 (15)19 (13)18 (11)16 (8)14/15
BBDE Vodopija 108 (55)24 (10)21 (9)29 (8)32 (10)33 (8)30 (7)15/15
BFGS-M-17 Blelly 5.9 (6)1.8 (3)2.3 (3)2.2 (2)2.2 (2)8.7 (9)∞5e40/15
BFGS-P-09 Blelly 7.1 (11)1.1 (0.9)2.8 (5)2.7 (4)2.7 (4)12 (18)∞5e40/15
BFGS-P-Instances Blelly 8.1 (12)1.5 (2)2.6 (3)2.5 (3)2.5 (3)4.8 (6)∞5e40/15
BFGS-P-StPt Blelly 5.3 (14)1.5 (1)3.5 (4)3.4 (3)3.3 (4)8.2 (8)∞5e40/15
BFGS-P-range Blelly 7.7 (12)1.7 (3)1.6 (1)1.5 (1)1.5 (1)4.1 (4)∞4e40/15
CMAES-APOP-Var1 Nguyen 30 (23)1085 (1057)4409 (4250)4232 (4456)4121 (5149)3377 (3918)2707 (2995)1/15
CMAES-APOP-Var2 Nguyen 15 (24)517 (707)1259 (1259)1209 (2039)1177 (1471)965 (1025)773 (1111)3/15
CMAES-APOP-Var3 Nguyen 20 (28)685 (882)1261 (1182)1211 (1286)1179 (1398)966 (1148)774 (1015)3/15
DE-best Vodopija 92 (160)22 (22)36 (43)35 (52)34 (38)30 (36)25 (30)13/15
DE-rand Vodopija 122 (88)94 (99)391 (350)378 (579)370 (320)312 (333)256 (179)3/15
DE-ttb Vodopija 41 (32)26 (35)21 (18)21 (18)21 (17)19 (14)16 (11)15/15
PSA-CMA-ES Nishida 44 (107)736 (1770)3513 (5656)3371 (4092)3283 (4567)2690 (3917)2156 (2827)5/15
PSA-CMA-ESwRS Nishida 49 (83)14 (28)24 (30)23 (29)22 (28)18 (23)15 (18)15/15

Δ fopt
f23, 10-D		 1e1
3.0		 1e0
915		 1e-1
16425		 1e-2
1.8e5		 1e-3
2.0e5		 1e-5
2.1e5		 1e-7
2.1e5		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.9 (2)0.95 (0.9)★3∞∞∞∞∞25020/15
uBBDE-N Vodopija 1.4 (1)1126 (934)∞∞∞∞∞5e50/15
uBBDE-best Vodopija 1.1 (1)39 (35)450 (540)∞∞∞∞5e50/15
uBBDE-ttb Vodopija 2.4 (2)741 (593)∞∞∞∞∞5e50/15
uBBDE Vodopija 1.7 (1)∞∞∞∞∞∞5e50/15
uDE-best Vodopija 1.8 (2)1242 (1087)567 (661)∞∞∞∞5e50/15
uDE-rand Vodopija 1.4 (2)1786 (2185)∞∞∞∞∞5e50/15
uDE-ttb Vodopija 2.4 (2)2358 (2027)∞∞∞∞∞5e50/15
BBDE-N Vodopija 2.2 (2)434 (295)∞∞∞∞∞5e50/15
BBDE-best Vodopija 1.6 (2)100 (95)∞∞∞∞∞5e50/15
BBDE-ttb Vodopija 1.8 (2)269 (272)∞∞∞∞∞5e50/15
BBDE Vodopija 1.8 (2)300 (574)∞∞∞∞∞5e50/15
BFGS-M-17 Blelly 21 (24)119 (187)∞∞∞∞∞4e40/15
BFGS-P-09 Blelly 46 (87)548 (711)∞∞∞∞∞3e50/15
BFGS-P-Instances Blelly 16 (16)421 (566)∞∞∞∞∞3e50/15
BFGS-P-StPt Blelly 145 (173)264 (212)∞∞∞∞∞3e50/15
BFGS-P-range Blelly 306 (540)231 (200)∞∞∞∞∞3e50/15
CMAES-APOP-Var1 Nguyen 1.5 (1)254 (425)∞∞∞∞∞2e60/15
CMAES-APOP-Var2 Nguyen 1.4 (1)130 (274)∞∞∞∞∞2e60/15
CMAES-APOP-Var3 Nguyen 1.4 (1)39 (56)792 (853)∞∞∞∞2e60/15
DE-best Vodopija 1.2 (1)319 (314)∞∞∞∞∞5e50/15
DE-rand Vodopija 1.1 (1)409 (303)∞∞∞∞∞5e50/15
DE-ttb Vodopija 2.0 (2)570 (979)∞∞∞∞∞5e50/15
PSA-CMA-ES Nishida 3.0 (3)355 (293)∞∞∞∞∞1e70/15
PSA-CMA-ESwRS Nishida 2.6 (4)29 (60)9063 (1e4)∞∞∞∞1e70/15

Δ fopt
f24, 10-D		 1e1
98761		 1e0
1.0e6		 1e-1
7.5e7		 1e-2
7.5e7		 1e-3
7.5e7		 1e-5
7.5e7		 1e-7
7.5e7		 #succ
1/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.11 (0.1)★3∞∞∞∞∞∞25040/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞5e50/15
uBBDE-best Vodopija 24 (25)∞∞∞∞∞∞5e50/15
uBBDE-ttb Vodopija 30 (30)∞∞∞∞∞∞5e50/15
uBBDE Vodopija ∞∞∞∞∞∞∞5e50/15
uDE-best Vodopija 38 (29)∞∞∞∞∞∞9e50/15
uDE-rand Vodopija ∞∞∞∞∞∞∞5e50/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞5e50/15
BBDE-N Vodopija ∞∞∞∞∞∞∞5e50/15
BBDE-best Vodopija ∞∞∞∞∞∞∞5e50/15
BBDE-ttb Vodopija 36 (26)∞∞∞∞∞∞5e50/15
BBDE Vodopija ∞∞∞∞∞∞∞5e50/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞4e40/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞8e40/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞8e40/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞7e40/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞7e40/15
CMAES-APOP-Var1 Nguyen 284 (294)∞∞∞∞∞∞2e60/15
CMAES-APOP-Var2 Nguyen 64 (76)29 (23)∞∞∞∞∞2e60/15
CMAES-APOP-Var3 Nguyen 140 (144)13 (15)∞∞∞∞∞2e60/15
DE-best Vodopija 36 (42)∞∞∞∞∞∞7e50/15
DE-rand Vodopija ∞∞∞∞∞∞∞5e50/15
DE-ttb Vodopija ∞∞∞∞∞∞∞5e50/15
PSA-CMA-ES Nishida ∞∞∞∞∞∞∞1e70/15
PSA-CMA-ESwRS Nishida 33 (32)4.8 (5)0.27 (0.2)0.45 (0.5)0.45 (0.4)0.45 (0.7)0.45 (0.3)4/15

Previous dimension | Dimension = 20 | Next dimension

Δ fopt
f1, 20-D		 1e1
43		 1e0
43		 1e-1
43		 1e-2
43		 1e-3
43		 1e-5
43		 1e-7
43		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 3.3 (0.3)5.2 (0.5)7.0 (0.5)9.0 (0.6)11 (0.6)15 (0.6)19 (0.6)15/15
uBBDE-N Vodopija 781 (134)1732 (267)2878 (182)4035 (192)5144 (239)7557 (195)9974 (223)15/15
uBBDE-best Vodopija 38 (8)87 (16)263 (69)7391 (8983)3.5e5 (4e5)∞∞1e60/15
uBBDE-ttb Vodopija 125 (16)251 (23)387 (31)523 (38)664 (34)931 (42)1210 (36)15/15
uBBDE Vodopija 2152 (291)4940 (377)7887 (305)1.1e4 (362)1.4e4 (311)2.0e4 (258)∞1e60/15
uDE-best Vodopija 144 (45)296 (52)441 (60)578 (70)729 (85)1026 (124)1315 (127)15/15
uDE-rand Vodopija 1003 (125)2100 (189)3147 (147)4138 (262)5247 (251)7263 (332)9288 (216)15/15
uDE-ttb Vodopija 181 (61)360 (63)523 (54)683 (81)849 (85)1175 (91)1508 (101)15/15
BBDE-N Vodopija 613 (91)1527 (149)2639 (162)3812 (122)4850 (251)7275 (128)9676 (153)15/15
BBDE-best Vodopija 33 (11)74 (14)243 (51)1990 (2217)2.4e4 (3e4)∞∞1e60/15
BBDE-ttb Vodopija 586 (146)1784 (388)3227 (250)4730 (384)6346 (474)9569 (271)1.3e4 (353)15/15
BBDE Vodopija 1353 (320)3560 (419)6577 (277)9456 (583)1.2e4 (308)1.8e4 (279)∞1e60/15
BFGS-M-17 Blelly 1 (0)★41 (0)★41 (0)★41 (0)★41 (0)★41.2 (0.2)1.9 (0.5)15/15
BFGS-P-09 Blelly 1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)2.2 (1)12/15
BFGS-P-Instances Blelly 1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)3.7 (0.5)13/15
BFGS-P-StPt Blelly 1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)6.0 (11)12/15
BFGS-P-range Blelly 1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)1.1 (0)2.9 (4)11/15
CMAES-APOP-Var1 Nguyen 6.2 (0.9)12 (1.0)18 (1.0)25 (1)31 (2)43 (2)56 (3)15/15
CMAES-APOP-Var2 Nguyen 6.6 (0.8)13 (2)19 (2)25 (1)31 (2)44 (2)56 (3)15/15
CMAES-APOP-Var3 Nguyen 6.4 (1)13 (2)19 (2)25 (2)31 (2)44 (3)56 (3)15/15
DE-best Vodopija 115 (19)255 (52)398 (58)554 (48)713 (63)1002 (102)1302 (99)15/15
DE-rand Vodopija 525 (128)1555 (108)2580 (138)3664 (258)4702 (230)6819 (295)8973 (309)15/15
DE-ttb Vodopija 122 (22)290 (50)447 (65)625 (90)800 (89)1127 (111)1455 (77)15/15
PSA-CMA-ES Nishida 37 (10)58 (11)79 (17)102 (23)124 (20)171 (22)217 (23)15/15
PSA-CMA-ESwRS Nishida 8.3 (2)14 (1)21 (1)27 (2)33 (2)46 (3)58 (3)15/15

Δ fopt
f2, 20-D		 1e1
385		 1e0
386		 1e-1
387		 1e-2
388		 1e-3
390		 1e-5
391		 1e-7
393		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 7.0 (0.9)8.4 (1)9.2 (1.0)10 (0.8)10 (0.7)10 (0.5)11 (0.5)15/15
uBBDE-N Vodopija 616 (24)756 (28)897 (23)1038 (32)1179 (33)1471 (26)1751 (35)15/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 114 (20)147 (38)181 (58)206 (68)226 (83)263 (101)293 (103)15/15
uBBDE Vodopija 1618 (48)1950 (58)2286 (37)1.3e4 (1e4)∞∞∞1e60/15
uDE-best Vodopija 79 (6)94 (6)110 (8)125 (11)143 (13)174 (16)205 (15)15/15
uDE-rand Vodopija 584 (31)700 (32)815 (42)929 (43)1042 (44)1275 (34)1494 (47)15/15
uDE-ttb Vodopija 90 (9)108 (11)129 (13)146 (13)164 (12)201 (11)238 (10)15/15
BBDE-N Vodopija 448 (30)574 (32)712 (28)869 (27)997 (24)1284 (27)1574 (32)15/15
BBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 532 (43)696 (65)884 (37)1055 (54)1245 (44)1611 (44)1957 (32)15/15
BBDE Vodopija 950 (39)1282 (40)1622 (66)1949 (47)2286 (55)∞∞1e60/15
BFGS-M-17 Blelly 19 (4)58 (56)297 (192)574 (554)844 (689)3369 (2924)∞8e50/15
BFGS-P-09 Blelly 4.5 (1.0)4.7 (1)5.0 (1)5.3 (1)5.6 (0.9)6.1 (1)6.7 (1)15/15
BFGS-P-Instances Blelly 4.4 (1)4.7 (1)5.0 (1)5.2 (1)5.4 (1)5.9 (1)6.3 (2)15/15
BFGS-P-StPt Blelly 4.5 (0.6)4.8 (0.7)5.0 (0.9)5.3 (1)5.6 (1)6.1 (2)6.6 (2)15/15
BFGS-P-range Blelly 4.2 (1)4.5 (1)4.9 (1)5.2 (1)5.4 (1)5.8 (2)6.3 (2)15/15
CMAES-APOP-Var1 Nguyen 33 (2)40 (4)42 (4)44 (2)45 (2)46 (2)48 (2)15/15
CMAES-APOP-Var2 Nguyen 34 (3)40 (3)43 (3)45 (2)46 (2)47 (2)49 (2)15/15
CMAES-APOP-Var3 Nguyen 34 (6)40 (6)44 (3)45 (3)46 (2)48 (2)49 (1)15/15
DE-best Vodopija 62 (6)79 (6)95 (8)112 (10)127 (11)157 (12)186 (12)15/15
DE-rand Vodopija 317 (18)438 (25)549 (27)661 (23)778 (25)1009 (31)1229 (34)15/15
DE-ttb Vodopija 73 (8)93 (8)111 (7)132 (9)151 (10)188 (11)224 (13)15/15
PSA-CMA-ES Nishida 58 (7)64 (6)67 (7)70 (6)73 (6)77 (5)82 (5)15/15
PSA-CMA-ESwRS Nishida 34 (4)39 (6)44 (4)45 (4)46 (3)48 (3)49 (3)15/15

Δ fopt
f3, 20-D		 1e1
5066		 1e0
7626		 1e-1
7635		 1e-2
7637		 1e-3
7643		 1e-5
7646		 1e-7
7651		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer ∞∞∞∞∞∞∞50060/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 3528 (4513)∞∞∞∞∞∞1e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-best Vodopija 108 (27)∞∞∞∞∞∞1e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-N Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE Vodopija ∞∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞1e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞2e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞2e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞2e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞2e50/15
CMAES-APOP-Var1 Nguyen 28 (7)∞∞∞∞∞∞4e60/15
CMAES-APOP-Var2 Nguyen 30 (16)∞∞∞∞∞∞4e60/15
CMAES-APOP-Var3 Nguyen 29 (16)∞∞∞∞∞∞4e60/15
DE-best Vodopija 99 (20)2497 (2062)∞∞∞∞∞1e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida 35 (11)∞∞∞∞∞∞2e70/15
PSA-CMA-ESwRS Nishida 34 (8)∞∞∞∞∞∞2e70/15

Δ fopt
f4, 20-D		 1e1
4722		 1e0
7628		 1e-1
7666		 1e-2
7686		 1e-3
7700		 1e-5
7758		 1e-7
1.4e5		 #succ
9/15
DTS-CMA-ES 005-2pop v26 1model Bajer ∞∞∞∞∞∞∞50030/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-best Vodopija 158 (108)∞∞∞∞∞∞1e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-N Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE Vodopija ∞∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞1e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞3e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞3e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞3e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞2e50/15
CMAES-APOP-Var1 Nguyen ∞∞∞∞∞∞∞4e60/15
CMAES-APOP-Var2 Nguyen ∞∞∞∞∞∞∞4e60/15
CMAES-APOP-Var3 Nguyen ∞∞∞∞∞∞∞4e60/15
DE-best Vodopija 146 (151)∞∞∞∞∞∞1e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida ∞∞∞∞∞∞∞2e70/15
PSA-CMA-ESwRS Nishida ∞∞∞∞∞∞∞2e70/15

Δ fopt
f5, 20-D		 1e1
41		 1e0
41		 1e-1
41		 1e-2
41		 1e-3
41		 1e-5
41		 1e-7
41		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 8.0 (4)14 (5)18 (4)21 (7)21 (7)21 (7)21 (7)15/15
uBBDE-N Vodopija 259 (76)278 (76)282 (76)282 (76)282 (76)282 (76)282 (76)15/15
uBBDE-best Vodopija 15 (12)16 (12)16 (12)16 (12)16 (12)16 (12)16 (12)15/15
uBBDE-ttb Vodopija 15 (10)15 (10)15 (10)15 (10)15 (10)15 (10)15 (10)15/15
uBBDE Vodopija 103 (29)108 (35)108 (35)108 (35)108 (35)108 (35)108 (35)15/15
uDE-best Vodopija 26 (5)30 (5)30 (5)30 (5)30 (5)30 (5)30 (5)15/15
uDE-rand Vodopija 113 (13)127 (24)129 (25)129 (25)129 (25)129 (25)129 (25)15/15
uDE-ttb Vodopija 36 (9)44 (12)46 (14)46 (14)46 (14)46 (14)46 (14)15/15
BBDE-N Vodopija 1.4e4 (1255)∞∞∞∞∞∞1e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 9532 (1564)2.8e4 (1e4)∞∞∞∞∞1e60/15
BBDE Vodopija ∞∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly 2.2 (0.3)2.9 (1)3.0 (0.8)3.0 (0.8)3.0 (0.8)3.0 (0.8)3.0 (0.8)15/15
BFGS-P-09 Blelly 1.6 (0.3)2.3 (0.5)2.4 (0.5)2.4 (0.5)2.4 (0.5)2.4 (0.5)2.4 (0.5)15/15
BFGS-P-Instances Blelly 1.7 (0.5)2.3 (0.5)2.4 (0.3)2.5 (0.3)2.5 (0.3)2.5 (0.3)2.5 (0.3)15/15
BFGS-P-StPt Blelly 1.7 (0)2.2 (0)2.2 (0)2.2 (0)2.2 (0)2.2 (0)2.2 (0)15/15
BFGS-P-range Blelly 1.6 (0)2.5 (0.3)2.6 (0.3)2.6 (0.3)2.6 (0.3)2.6 (0.3)2.6 (0.3)15/15
CMAES-APOP-Var1 Nguyen 4.9 (0.9)5.7 (0.9)5.9 (1)5.9 (1)5.9 (1)5.9 (1)5.9 (1)15/15
CMAES-APOP-Var2 Nguyen 4.8 (1)5.7 (1)5.9 (1)5.9 (1)5.9 (1)5.9 (1)5.9 (1)15/15
CMAES-APOP-Var3 Nguyen 5.3 (0.9)6.2 (0.8)6.3 (0.8)6.3 (0.8)6.3 (0.8)6.3 (0.8)6.3 (0.8)15/15
DE-best Vodopija 1407 (149)3926 (319)6625 (474)9331 (495)1.2e4 (768)1.7e4 (866)2.3e4 (1141)1/15
DE-rand Vodopija 6484 (453)1.7e4 (601)∞∞∞∞∞1e60/15
DE-ttb Vodopija 1153 (168)2491 (88)3775 (158)5058 (225)6426 (283)9132 (452)1.2e4 (487)15/15
PSA-CMA-ES Nishida 4.9 (1)5.9 (1)6.1 (1)6.1 (1)6.1 (1)6.1 (1)6.1 (1)15/15
PSA-CMA-ESwRS Nishida 4.8 (0.5)5.7 (1)5.8 (0.8)5.8 (0.8)5.8 (0.8)5.8 (0.8)5.8 (0.8)15/15

Δ fopt
f6, 20-D		 1e1
1296		 1e0
2343		 1e-1
3413		 1e-2
4255		 1e-3
5220		 1e-5
6728		 1e-7
8409		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer ∞∞∞∞∞∞∞50020/15
uBBDE-N Vodopija 241 (27)214 (15)206 (7)212 (12)∞∞∞1e60/15
uBBDE-best Vodopija 2547 (3406)∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 21 (3)17 (3)17 (4)34 (56)36 (46)445 (513)2210 (2820)0/15
uBBDE Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-best Vodopija 144 (21)126 (17)117 (14)121 (13)120 (15)127 (17)349 (354)1/15
uDE-rand Vodopija 657 (59)∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija 56 (7)47 (5)43 (4)44 (3)43 (3)44 (3)44 (2)15/15
BBDE-N Vodopija 147 (26)155 (13)161 (11)175 (7)194 (9)∞∞1e60/15
BBDE-best Vodopija 764 (832)∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 148 (46)165 (28)171 (23)183 (19)396 (196)∞∞1e60/15
BBDE Vodopija 444 (59)1264 (756)∞∞∞∞∞1e60/15
BFGS-M-17 Blelly 3.8 (3)3.4 (2)3.3 (1)12 (15)261 (199)∞∞1e60/15
BFGS-P-09 Blelly 7.1 (3)5.6 (1)5.4 (2)5.9 (2)5.9 (2)8.1 (4)235 (383)8/15
BFGS-P-Instances Blelly 7.3 (6)5.5 (4)5.2 (3)6.1 (3)6.2 (2)6.8 (4)115 (240)10/15
BFGS-P-StPt Blelly 4.4 (2)4.0 (2)4.1 (2)4.4 (1)4.9 (2)8.7 (5)265 (476)7/15
BFGS-P-range Blelly 6.2 (2)5.0 (2)4.8 (2)5.1 (2)5.1 (2)7.2 (4)273 (479)8/15
CMAES-APOP-Var1 Nguyen 1.4 (0.3)1.2 (0.2)1.1 (0.2)1.2 (0.2)1.1 (0.2)1.2 (0.1)1.2 (0.2)15/15
CMAES-APOP-Var2 Nguyen 1.6 (0.3)1.3 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.2)1.2 (0.1)1.2 (0.1)15/15
CMAES-APOP-Var3 Nguyen 1.6 (0.4)1.3 (0.2)1.1 (0.2)1.1 (0.1)1.1 (0.2)1.2 (0.2)1.1 (0.2)15/15
DE-best Vodopija 67 (18)79 (20)85 (14)94 (14)98 (13)110 (16)209 (152)4/15
DE-rand Vodopija 341 (65)321 (40)1458 (1833)∞∞∞∞1e60/15
DE-ttb Vodopija 37 (8)35 (8)35 (4)36 (3)37 (3)40 (2)41 (2)15/15
PSA-CMA-ES Nishida 41 (8)31 (4)27 (3)26 (3)25 (2)26 (2)25 (1)15/15
PSA-CMA-ESwRS Nishida 1.8 (0.3)1.4 (0.2)1.3 (0.2)1.2 (0.1)1.2 (0.1)1.2 (0.1)1.2 (0.1)15/15

Δ fopt
f7, 20-D		 1e1
1351		 1e0
4274		 1e-1
9503		 1e-2
16523		 1e-3
16524		 1e-5
16524		 1e-7
16969		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.3 (1)17 (25)7.8 (13)∞∞∞∞50030/15
uBBDE-N Vodopija 69 (13)86 (18)91 (15)∞∞∞∞1e60/15
uBBDE-best Vodopija 537 (415)∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 8.9 (2)60 (66)218 (325)295 (478)295 (298)295 (290)287 (307)3/15
uBBDE Vodopija 168 (18)146 (24)∞∞∞∞∞1e60/15
uDE-best Vodopija 28 (9)74 (94)122 (117)318 (337)318 (224)318 (263)310 (412)3/15
uDE-rand Vodopija 1004 (604)∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija 27 (6)35 (6)26 (29)22 (18)22 (18)22 (18)22 (17)15/15
BBDE-N Vodopija 67 (13)104 (28)145 (65)∞∞∞∞1e60/15
BBDE-best Vodopija 118 (201)∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 69 (15)80 (22)88 (56)104 (95)120 (109)120 (78)117 (65)7/15
BBDE Vodopija 140 (20)145 (22)∞∞∞∞∞1e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞21210/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞23000/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞23000/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞23000/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞23000/15
CMAES-APOP-Var1 Nguyen 0.76 (0.1)↑04.6 (0.4)2.3 (0.4)1.5 (0.3)1.5 (0.3)1.5 (0.3)1.5 (0.3)15/15
CMAES-APOP-Var2 Nguyen 2.2 (5)4.6 (0.4)2.4 (0.3)1.6 (0.3)1.6 (0.3)1.6 (0.3)1.6 (0.3)15/15
CMAES-APOP-Var3 Nguyen 2.7 (5)4.4 (0.6)2.3 (0.3)1.4 (0.2)1.5 (0.2)1.5 (0.2)1.4 (0.2)15/15
DE-best Vodopija 19 (7)28 (11)207 (464)352 (434)352 (433)352 (329)343 (229)3/15
DE-rand Vodopija 311 (87)∞∞∞∞∞∞1e60/15
DE-ttb Vodopija 16 (3)22 (6)14 (4)19 (5)19 (5)19 (5)19 (5)14/15
PSA-CMA-ES Nishida 4.4 (0.6)2.2 (0.4)1.2 (0.2)0.85 (0.2)0.85 (0.2)0.85 (0.2)0.83 (0.2)15/15
PSA-CMA-ESwRS Nishida 2.6 (3)2.9 (0.6)1.5 (0.4)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.0 (0.2)15/15

Δ fopt
f8, 20-D		 1e1
2039		 1e0
3871		 1e-1
4040		 1e-2
4148		 1e-3
4219		 1e-5
4371		 1e-7
4484		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.2 (0.4)1.2 (0.7)2.1 (2)2.8 (3)4.2 (3)5.5 (4)5.4 (3)2/15
uBBDE-N Vodopija 278 (63)1238 (1153)∞∞∞∞∞1e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 51 (33)67 (54)75 (48)77 (48)79 (47)81 (46)82 (45)15/15
uBBDE Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-best Vodopija 43 (9)54 (44)59 (41)63 (40)68 (39)76 (37)84 (36)15/15
uDE-rand Vodopija 286 (9)3872 (3294)∞∞∞∞∞1e60/15
uDE-ttb Vodopija 45 (3)45 (1)49 (2)54 (2)59 (2)70 (2)80 (2)15/15
BBDE-N Vodopija 211 (67)246 (137)920 (990)∞∞∞∞1e60/15
BBDE-best Vodopija 7536 (1e4)∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 227 (51)191 (21)206 (22)217 (20)229 (18)848 (516)∞1e60/15
BBDE Vodopija 3636 (3424)∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly 1.9 (0.3)1.5 (0.7)1.5 (0.6)1.5 (0.6)1.5 (0.6)3.1 (3)279 (222)0/15
BFGS-P-09 Blelly 1.8 (0.5)1.5 (1.0)1.5 (0.9)1.5 (0.9)1.5 (0.9)1.5 (0.8)1.5 (0.8)15/15
BFGS-P-Instances Blelly 1.8 (0.6)1.2 (0.4)1.2 (0.4)1.2 (0.3)1.2 (0.3)1.2 (0.3)1.2 (0.3)15/15
BFGS-P-StPt Blelly 1.3 (0.6)2.0 (1)1.9 (1)1.9 (1)1.9 (1)1.8 (1.0)1.8 (1.0)15/15
BFGS-P-range Blelly 1.8 (0.5)1.4 (1.0)1.4 (0.9)1.4 (0.9)1.4 (0.9)1.3 (0.8)1.8 (0.9)15/15
CMAES-APOP-Var1 Nguyen 3.9 (1)6.5 (1)7.0 (1)7.2 (1.0)7.2 (1.0)7.2 (1.0)7.3 (0.9)15/15
CMAES-APOP-Var2 Nguyen 3.9 (1)4.1 (0.8)4.4 (0.7)4.5 (0.7)4.6 (0.7)4.6 (0.7)4.6 (0.6)15/15
CMAES-APOP-Var3 Nguyen 3.5 (0.5)6.5 (0.7)6.8 (0.6)7.0 (0.6)7.0 (0.6)7.0 (0.6)7.0 (0.6)15/15
DE-best Vodopija 43 (11)55 (48)60 (47)64 (45)68 (45)76 (44)84 (41)15/15
DE-rand Vodopija 260 (8)477 (324)∞∞∞∞∞1e60/15
DE-ttb Vodopija 43 (4)58 (3)62 (3)67 (3)72 (3)81 (3)90 (2)15/15
PSA-CMA-ES Nishida 14 (2)14 (1)15 (2)16 (2)16 (2)16 (2)16 (2)15/15
PSA-CMA-ESwRS Nishida 4.3 (1)6.3 (7)6.7 (8)6.9 (8)6.9 (8)6.9 (8)7.0 (8)15/15

Δ fopt
f9, 20-D		 1e1
1716		 1e0
3102		 1e-1
3277		 1e-2
3379		 1e-3
3455		 1e-5
3594		 1e-7
3727		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.4 (0.4)1.5 (0.2)2.0 (0.9)3.1 (2)7.1 (5)6.9 (9)20 (30)0/15
uBBDE-N Vodopija 313 (49)642 (493)∞∞∞∞∞1e60/15
uBBDE-best Vodopija 8646 (1e4)∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 46 (8)85 (59)92 (56)95 (59)97 (58)98 (56)98 (54)15/15
uBBDE Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-best Vodopija 174 (65)348 (195)2275 (2052)∞∞∞∞1e60/15
uDE-rand Vodopija 8656 (8743)∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija 129 (21)271 (36)897 (683)∞∞∞∞1e60/15
BBDE-N Vodopija 266 (94)513 (419)∞∞∞∞∞1e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 291 (50)228 (16)243 (15)255 (20)270 (16)∞∞1e60/15
BBDE Vodopija 2863 (2041)∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly 2.0 (0.4)1.6 (0.2)1.6 (0.2)1.5 (0.2)1.5 (0.2)1.9 (1)106 (117)0/15
BFGS-P-09 Blelly 2.1 (0.7)1.6 (0.3)1.6 (0.3)1.5 (0.3)1.5 (0.3)1.5 (0.3)1.4 (0.3)15/15
BFGS-P-Instances Blelly 2.2 (0.5)1.6 (0.3)1.6 (0.3)1.6 (0.3)1.6 (0.2)1.5 (0.2)1.5 (0.2)15/15
BFGS-P-StPt Blelly 0.42 (0)★4↑00.32 (4e-3)★4↑00.36 (0.0)★4↑00.38 (7e-3)★4↑00.39 (6e-3)★4↑00.40 (6e-3)★4↑00.39 (9e-3)★4↑015/15
BFGS-P-range Blelly 1.8 (0.5)1.6 (0.9)1.6 (0.9)1.6 (0.8)1.6 (0.8)1.5 (0.8)1.5 (0.8)15/15
CMAES-APOP-Var1 Nguyen 4.9 (2)14 (21)14 (22)14 (22)14 (22)14 (21)14 (21)15/15
CMAES-APOP-Var2 Nguyen 5.1 (1)14 (22)15 (24)15 (24)15 (24)15 (24)15 (23)15/15
CMAES-APOP-Var3 Nguyen 4.2 (0.8)4.9 (0.4)5.2 (0.4)5.3 (0.3)5.4 (0.3)5.4 (0.3)5.4 (0.3)15/15
DE-best Vodopija 187 (64)396 (197)4537 (2976)∞∞∞∞1e60/15
DE-rand Vodopija 4312 (3883)∞∞∞∞∞∞1e60/15
DE-ttb Vodopija 129 (26)251 (43)1491 (1526)∞∞∞∞1e60/15
PSA-CMA-ES Nishida 16 (2)17 (1)18 (1)19 (1)19 (1.0)19 (1.0)19 (0.8)15/15
PSA-CMA-ESwRS Nishida 4.8 (2)8.8 (10)9.2 (10)9.5 (10)9.5 (10)9.4 (10)9.3 (10)15/15

Δ fopt
f10, 20-D		 1e1
7413		 1e0
8661		 1e-1
10735		 1e-2
13641		 1e-3
14920		 1e-5
17073		 1e-7
17476		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.36 (0.1)↑00.37 (0.0)↑00.33 (0.0)↑00.28 (0.0)↑00.26 (0.0)↑00.24 (0.0)↑00.24 (0.0)↑015/15
uBBDE-N Vodopija 32 (1)33 (1)32 (0.8)29 (0.7)31 (0.7)34 (0.5)40 (0.6)15/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 6.4 (2)7.7 (2)7.3 (2)6.5 (2)6.4 (2)6.6 (2)7.2 (2)15/15
uBBDE Vodopija 83 (4)87 (1)82 (2)549 (770)∞∞∞1e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-N Vodopija 33 (2)36 (2)34 (2)32 (2)33 (2)36 (1)42 (2)15/15
BBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 47 (6)48 (6)46 (3)41 (3)42 (2)46 (3)53 (2)7/15
BBDE Vodopija 85 (4)89 (4)84 (4)1099 (972)∞∞∞1e60/15
BFGS-M-17 Blelly 0.97 (0.2)2.6 (2)6.9 (4)10 (10)15 (17)78 (81)∞8e50/15
BFGS-P-09 Blelly 0.22 (0.1)↑00.21 (0.1)↑00.18 (0.1)↑00.15 (0.0)↑00.14 (0.0)↑00.14 (0.0)↑00.15 (0.0)↑015/15
BFGS-P-Instances Blelly 0.45 (0.2)↑10.40 (0.2)↑10.34 (0.2)↑10.28 (0.1)↑10.26 (0.1)↑10.24 (0.1)↑10.26 (0.1)↑115/15
BFGS-P-StPt Blelly 0.22 (0.1)↑00.21 (0.1)↑00.18 (0.1)↑00.15 (0.0)↑00.15 (0.0)↑00.14 (0.0)↑00.14 (0.0)↑015/15
BFGS-P-range Blelly 0.27 (0.1)↑00.25 (0.1)↑00.21 (0.1)↑00.17 (0.0)↑00.17 (0.0)↑00.15 (0.0)↑00.16 (0.0)↑015/15
CMAES-APOP-Var1 Nguyen 1.9 (0.2)1.8 (0.2)1.6 (0.1)1.3 (0.1)1.2 (0.0)1.1 (0.0)1.1 (0.0)15/15
CMAES-APOP-Var2 Nguyen 1.8 (0.2)1.8 (0.2)1.6 (0.1)1.3 (0.0)1.2 (0.0)1.1 (0.0)1.1 (0.0)15/15
CMAES-APOP-Var3 Nguyen 1.8 (0.2)1.8 (0.2)1.6 (0.1)1.3 (0.1)1.2 (0.1)1.1 (0.0)1.1 (0.0)15/15
DE-best Vodopija ∞∞∞∞∞∞∞1e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida 2.9 (0.4)2.8 (0.2)2.4 (0.1)2.0 (0.1)1.9 (0.1)1.8 (0.1)1.8 (0.2)15/15
PSA-CMA-ESwRS Nishida 1.8 (0.2)1.8 (0.1)1.6 (0.1)1.3 (0.1)1.2 (0.0)1.1 (0.1)1.1 (0.0)15/15

Δ fopt
f11, 20-D		 1e1
1002		 1e0
2228		 1e-1
6278		 1e-2
8586		 1e-3
9762		 1e-5
12285		 1e-7
14831		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.6 (0.2)0.88 (0.1)0.34 (0.0)↑00.27 (0.0)↑00.25 (0.0)↑00.22 (0.0)↑00.20 (0.0)↑015/15
uBBDE-N Vodopija 94 (11)72 (7)36 (2)34 (2)36 (2)39 (1)42 (1)15/15
uBBDE-best Vodopija 48 (97)1646 (1494)∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 15 (1)10 (1.0)4.3 (0.3)3.8 (0.2)4.0 (0.3)4.1 (0.3)4.2 (0.3)15/15
uBBDE Vodopija 380 (20)233 (9)103 (3)90 (4)93 (3)∞∞1e60/15
uDE-best Vodopija 1.5e4 (1e4)∞∞∞∞∞∞1e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija 7464 (8983)∞∞∞∞∞∞1e60/15
BBDE-N Vodopija 60 (7)50 (5)26 (1)26 (0.9)28 (0.7)32 (1.0)34 (0.6)15/15
BBDE-best Vodopija 39 (65)1635 (1585)∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 78 (17)67 (11)35 (4)34 (3)37 (3)42 (2)44 (2)15/15
BBDE Vodopija 171 (19)139 (14)71 (3)67 (1)72 (3)79 (3)∞1e60/15
BFGS-M-17 Blelly 0.89 (0.4)1.0 (0.8)1.2 (1)1.6 (1)10 (8)∞∞1e50/15
BFGS-P-09 Blelly 0.70 (0.5)0.36 (0.2)↑00.14 (0.1)↑00.12 (0.1)↑00.12 (0.1)↑00.11 (0.1)↑00.82 (2)12/15
BFGS-P-Instances Blelly 1.8 (2)0.85 (1)0.31 (0.4)↑10.24 (0.3)↑10.22 (0.3)↑10.19 (0.2)↑00.88 (0.4)↑112/15
BFGS-P-StPt Blelly 0.76 (0.8)0.38 (0.4)↑00.15 (0.1)↑00.12 (0.1)↑00.12 (0.1)↑00.11 (0.1)↑00.31 (0.4)↑112/15
BFGS-P-range Blelly 0.68 (0.6)0.36 (0.3)↑00.15 (0.1)↑00.12 (0.1)↑00.12 (0.1)↑00.11 (0.1)↑00.74 (0.6)12/15
CMAES-APOP-Var1 Nguyen 10 (0.4)5.1 (0.3)1.9 (0.1)1.5 (0.0)1.4 (0.0)1.2 (0.0)1.0 (0.0)15/15
CMAES-APOP-Var2 Nguyen 10 (0.9)5.2 (0.4)2.0 (0.2)1.5 (0.1)1.4 (0.1)1.2 (0.1)1.0 (0.0)15/15
CMAES-APOP-Var3 Nguyen 10 (0.7)5.1 (0.2)1.9 (0.1)1.5 (0.0)1.4 (0.0)1.2 (0.0)1.0 (0.0)15/15
DE-best Vodopija 844 (543)∞∞∞∞∞∞1e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
DE-ttb Vodopija 726 (113)∞∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida 16 (1)7.5 (0.5)2.9 (0.2)2.2 (0.1)2.1 (0.1)1.8 (0.1)1.6 (0.1)15/15
PSA-CMA-ESwRS Nishida 10 (0.9)5.1 (0.3)2.0 (0.1)1.5 (0.0)1.4 (0.0)1.2 (0.0)1.0 (0.0)15/15

Δ fopt
f12, 20-D		 1e1
1042		 1e0
1938		 1e-1
2740		 1e-2
3156		 1e-3
4140		 1e-5
12407		 1e-7
13827		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.2 (0.5)1.2 (0.8)1.7 (2)1.7 (1)1.9 (2)1.9 (1)5.4 (5)1/15
uBBDE-N Vodopija 525 (63)420 (74)1804 (1453)∞∞∞∞1e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 45 (15)47 (39)56 (45)61 (39)56 (32)25 (12)26 (11)15/15
uBBDE Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-best Vodopija 126 (24)318 (517)1504 (1382)∞∞∞∞1e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija 262 (271)515 (625)5338 (6206)∞∞∞∞1e60/15
BBDE-N Vodopija 446 (58)375 (92)1048 (1207)∞∞∞∞1e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 416 (55)330 (90)380 (233)551 (337)1198 (1868)∞∞1e60/15
BBDE Vodopija ∞∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly 3.0 (1)6.0 (4)12 (14)58 (69)358 (462)∞∞1e50/15
BFGS-P-09 Blelly 5.2 (4)3.4 (2)2.7 (2)2.5 (1)2.0 (1)0.73 (0.4)0.69 (0.3)13/15
BFGS-P-Instances Blelly 6.7 (5)4.3 (3)3.3 (2)3.0 (2)2.4 (1)0.85 (0.5)0.91 (0.9)12/15
BFGS-P-StPt Blelly 3.2 (1)2.4 (0.8)2.0 (0.5)1.9 (0.5)1.5 (0.4)0.58 (0.1)↑00.56 (0.1)↑012/15
BFGS-P-range Blelly 4.9 (2)3.3 (2)2.7 (1)2.4 (1)2.0 (0.9)0.72 (0.3)↑10.79 (0.6)13/15
CMAES-APOP-Var1 Nguyen 2.2 (0.2)2.3 (2)2.9 (2)3.4 (2)3.2 (2)1.5 (0.6)1.6 (0.5)15/15
CMAES-APOP-Var2 Nguyen 3.7 (3)4.5 (4)4.9 (4)5.2 (3)4.6 (2)1.9 (0.8)2.0 (0.7)15/15
CMAES-APOP-Var3 Nguyen 2.7 (2)4.1 (3)4.4 (3)4.7 (2)4.2 (2)1.8 (0.6)1.9 (0.5)15/15
DE-best Vodopija 119 (10)200 (262)1069 (1824)∞∞∞∞1e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
DE-ttb Vodopija 260 (489)380 (317)1244 (1649)∞∞∞∞1e60/15
PSA-CMA-ES Nishida 14 (7)12 (11)11 (9)13 (8)12 (6)6.0 (2)6.6 (1)15/15
PSA-CMA-ESwRS Nishida 4.1 (4)3.9 (4)4.4 (3)4.5 (3)4.0 (2)1.7 (0.6)1.8 (0.5)15/15

Δ fopt
f13, 20-D		 1e1
652		 1e0
2021		 1e-1
2751		 1e-2
3507		 1e-3
18749		 1e-5
24455		 1e-7
30201		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.1 (1)★2.6 (3)5.9 (6)6.8 (6)3.9 (4)3.0 (3)∞50030/15
uBBDE-N Vodopija 305 (10)148 (5)146 (2)143 (2)32 (0.4)34 (0.5)∞1e60/15
uBBDE-best Vodopija 2.3e4 (3e4)∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 42 (6)23 (6)23 (4)21 (4)4.8 (0.7)7.4 (2)7.3 (3)15/15
uBBDE Vodopija 784 (53)375 (6)902 (731)∞∞∞∞1e60/15
uDE-best Vodopija 102 (127)157 (157)280 (284)1447 (1743)927 (721)∞∞1e60/15
uDE-rand Vodopija 914 (132)∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija 81 (12)71 (36)342 (244)∞∞∞∞1e60/15
BBDE-N Vodopija 286 (11)142 (5)141 (4)139 (3)32 (0.5)33 (0.4)497 (356)0/15
BBDE-best Vodopija 2541 (3287)∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 387 (44)192 (13)193 (11)191 (9)43 (2)∞∞1e60/15
BBDE Vodopija 718 (34)353 (11)348 (7)∞∞∞∞1e60/15
BFGS-M-17 Blelly 1.7 (0.2)1.0 (0.1)1.0 (0.0)1.0 (0.0)0.23 (9e-3)↑0323 (301)∞6e50/15
BFGS-P-09 Blelly 1.4 (0.1)0.64 (0.0)↑00.59 (0.0)↑00.56 (0.0)↑00.12 (5e-3)↑013 (29)212 (246)0/15
BFGS-P-Instances Blelly 1.4 (0.1)0.63 (0.0)↑00.59 (0.0)↑00.56 (0.0)↑00.12 (3e-3)↑010 (14)206 (316)0/15
BFGS-P-StPt Blelly 1.4 (0.0)0.65 (0.0)↑00.59 (0.0)↑00.56 (0.0)↑00.12 (4e-3)↑022 (38)315 (350)0/15
BFGS-P-range Blelly 1.4 (0.1)0.63 (0.0)↑00.59 (0.0)↑00.56 (0.0)↑00.12 (5e-3)↑063 (88)570 (719)0/15
CMAES-APOP-Var1 Nguyen 3.5 (4)6.6 (8)9.0 (6)10 (6)2.9 (0.8)3.3 (0.5)3.0 (0.3)15/15
CMAES-APOP-Var2 Nguyen 3.9 (5)11 (8)11 (5)11 (6)2.7 (1)2.7 (0.5)2.7 (0.4)15/15
CMAES-APOP-Var3 Nguyen 3.1 (0.7)5.1 (7)7.9 (6)9.0 (6)2.3 (1)2.8 (2)2.7 (1)15/15
DE-best Vodopija 62 (13)200 (210)1077 (1193)2629 (2798)493 (332)782 (902)∞1e60/15
DE-rand Vodopija 823 (110)∞∞∞∞∞∞1e60/15
DE-ttb Vodopija 72 (10)71 (41)363 (326)∞∞∞∞1e60/15
PSA-CMA-ES Nishida 9.4 (2)4.6 (1)5.4 (2)5.7 (2)1.3 (0.3)1.3 (0.2)1.4 (0.2)15/15
PSA-CMA-ESwRS Nishida 5.0 (5)4.7 (4)6.3 (3)5.6 (3)1.4 (0.6)1.5 (0.7)1.7 (0.7)15/15

Δ fopt
f14, 20-D		 1e1
75		 1e0
239		 1e-1
304		 1e-2
451		 1e-3
932		 1e-5
1648		 1e-7
15661		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.5 (1)1.6 (0.3)1.7 (0.2)1.8 (0.3)1.5 (0.2)1.8 (0.2)4.7 (3)0/15
uBBDE-N Vodopija 214 (80)314 (51)483 (38)480 (32)317 (9)270 (5)39 (0.9)15/15
uBBDE-best Vodopija 11 (4)18 (4)460 (527)1.0e4 (9338)∞∞∞1e60/15
uBBDE-ttb Vodopija 41 (13)41 (6)56 (6)58 (4)37 (3)33 (3)5.0 (0.7)15/15
uBBDE Vodopija 846 (164)976 (71)1323 (69)1294 (49)821 (30)∞∞1e60/15
uDE-best Vodopija 70 (43)68 (12)83 (15)113 (27)216 (63)∞∞1e60/15
uDE-rand Vodopija 1363 (433)901 (114)974 (79)1933 (318)∞∞∞1e60/15
uDE-ttb Vodopija 70 (27)68 (12)88 (13)109 (14)228 (46)∞∞1e60/15
BBDE-N Vodopija 126 (43)242 (26)405 (35)430 (23)286 (12)254 (8)37 (1)15/15
BBDE-best Vodopija 12 (5)13 (4)102 (150)861 (1365)1.6e4 (2e4)∞∞1e60/15
BBDE-ttb Vodopija 111 (64)269 (67)503 (42)557 (37)380 (22)339 (15)48 (2)15/15
BBDE Vodopija 206 (110)622 (83)1022 (106)1106 (31)727 (26)9089 (7890)∞1e60/15
BFGS-M-17 Blelly 2.9 (1)2.0 (0.7)2.1 (0.6)1.9 (0.5)1.2 (0.3)1.2 (0.3)22 (22)0/15
BFGS-P-09 Blelly 1.6 (0.4)0.86 (0.2)1.1 (0.2)1.2 (0.2)0.77 (0.1)↑00.73 (0.1)↑07.1 (11)0/15
BFGS-P-Instances Blelly 1.4 (0.3)0.85 (0.1)↑11.1 (0.1)1.1 (0.1)0.74 (0.1)↑00.70 (0.0)↑016 (12)0/15
BFGS-P-StPt Blelly 0.97 (0.1)★20.69 (0.2)↑00.83 (0.2)0.92 (0.2)0.66 (0.1)↑00.67 (0.1)↑06.3 (11)0/15
BFGS-P-range Blelly 1.5 (0.4)0.82 (0.2)1.0 (0.3)1.1 (0.2)0.74 (0.1)↑00.71 (0.1)↑06.9 (15)0/15
CMAES-APOP-Var1 Nguyen 2.7 (0.7)2.4 (0.4)3.2 (0.5)3.9 (0.3)3.8 (0.4)6.1 (0.5)1.2 (0.1)15/15
CMAES-APOP-Var2 Nguyen 2.5 (0.8)2.4 (0.6)3.3 (0.5)4.0 (0.6)3.9 (0.6)6.0 (0.6)1.2 (0.1)15/15
CMAES-APOP-Var3 Nguyen 3.2 (1)2.5 (0.4)3.4 (0.5)3.9 (0.7)4.0 (0.4)5.9 (0.6)1.1 (0.1)15/15
DE-best Vodopija 35 (12)50 (11)70 (10)100 (20)227 (47)∞∞1e60/15
DE-rand Vodopija 139 (66)339 (33)519 (27)1476 (242)∞∞∞1e60/15
DE-ttb Vodopija 36 (11)51 (8)75 (9)104 (15)229 (64)∞∞1e60/15
PSA-CMA-ES Nishida 41 (19)26 (3)28 (5)28 (4)18 (2)16 (2)2.3 (0.1)15/15
PSA-CMA-ESwRS Nishida 5.3 (2)3.4 (0.5)4.0 (0.6)4.7 (0.8)4.3 (0.5)6.3 (0.7)1.2 (0.1)15/15

Δ fopt
f15, 20-D		 1e1
30378		 1e0
1.5e5		 1e-1
3.1e5		 1e-2
3.2e5		 1e-3
3.2e5		 1e-5
4.5e5		 1e-7
4.6e5		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer ∞∞∞∞∞∞∞50050/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 584 (549)∞∞∞∞∞∞1e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-N Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE Vodopija ∞∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞1e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞2e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞2e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞2e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞2e50/15
CMAES-APOP-Var1 Nguyen 2.7 (0.2)0.61 (0.1)↑00.30 (0.0)↑00.31 (0.0)↑00.31 (0.0)↑00.22 (0.0)↑00.23 (0.0)↑015/15
CMAES-APOP-Var2 Nguyen 2.7 (0.3)0.62 (0.1)↑00.31 (0.0)↑00.31 (0.0)↑00.31 (0.0)↑00.23 (0.0)↑00.23 (0.0)↑015/15
CMAES-APOP-Var3 Nguyen 2.6 (0.4)0.57 (0.1)↑00.28 (0.0)↑00.28 (0.0)↑00.28 (0.0)↑00.21 (0.0)↑00.21 (0.0)↑015/15
DE-best Vodopija ∞∞∞∞∞∞∞1e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida 3.6 (1)0.75 (0.3)0.36 (0.1)↑00.36 (0.1)↑00.36 (0.1)↑00.26 (0.1)↑00.26 (0.1)↑015/15
PSA-CMA-ESwRS Nishida 4.4 (0.7)0.91 (0.2)0.43 (0.1)↑00.43 (0.1)↑00.43 (0.1)↑00.31 (0.1)↑00.31 (0.0)↑015/15

Δ fopt
f16, 20-D		 1e1
1384		 1e0
27265		 1e-1
77015		 1e-2
1.4e5		 1e-3
1.9e5		 1e-5
2.0e5		 1e-7
2.2e5		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.54 (0.1)★2↑12.7 (3)∞∞∞∞∞50020/15
uBBDE-N Vodopija 158 (80)∞∞∞∞∞∞1e60/15
uBBDE-best Vodopija 19 (27)566 (762)∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 395 (100)28 (18)145 (83)∞∞∞∞2e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-N Vodopija 77 (40)∞∞∞∞∞∞1e60/15
BBDE-best Vodopija 16 (28)∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 185 (114)∞∞∞∞∞∞1e60/15
BBDE Vodopija 3295 (3828)∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞1e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞8e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞1e60/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞8e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞8e50/15
CMAES-APOP-Var1 Nguyen 33 (0.7)20 (14)7.5 (5)4.2 (3)3.2 (2)3.1 (2)2.8 (2)15/15
CMAES-APOP-Var2 Nguyen 1.8 (0.7)23 (20)8.6 (7)4.8 (4)3.6 (3)3.8 (3)3.4 (2)15/15
CMAES-APOP-Var3 Nguyen 7.8 (0.9)18 (16)8.1 (4)4.5 (2)3.8 (2)3.6 (2)3.3 (2)15/15
DE-best Vodopija ∞∞∞∞∞∞∞1e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida 2.7e4 (5e4)2350 (3102)832 (1050)460 (550)341 (351)724 (750)651 (886)2/15
PSA-CMA-ESwRS Nishida 2.1 (0.9)31 (9)11 (3)6.1 (2)4.6 (1)4.5 (1)4.0 (1)15/15

Δ fopt
f17, 20-D		 1e1
63		 1e0
1030		 1e-1
4005		 1e-2
12242		 1e-3
30677		 1e-5
56288		 1e-7
80472		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 1.7 (0.7)3.3 (5)∞∞∞∞∞50020/15
uBBDE-N Vodopija 83 (92)974 (843)∞∞∞∞∞1e60/15
uBBDE-best Vodopija 10 (5)∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 22 (12)23 (11)69 (127)1219 (1173)∞∞∞1e60/15
uBBDE Vodopija 211 (191)983 (544)∞∞∞∞∞1e60/15
uDE-best Vodopija 38 (29)29 (9)21 (7)24 (41)44 (66)254 (231)∞1e60/15
uDE-rand Vodopija 210 (185)252 (35)180 (14)∞∞∞∞1e60/15
uDE-ttb Vodopija 31 (32)27 (8)16 (2)10 (1)6.9 (2)12 (9)86 (90)2/15
BBDE-N Vodopija 25 (23)525 (195)∞∞∞∞∞1e60/15
BBDE-best Vodopija 7.3 (3)5318 (6661)∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 20 (23)203 (85)821 (1190)∞∞∞∞1e60/15
BBDE Vodopija 24 (23)584 (110)∞∞∞∞∞1e60/15
BFGS-M-17 Blelly 306 (492)∞∞∞∞∞∞4e50/15
BFGS-P-09 Blelly 294 (514)∞∞∞∞∞∞4e50/15
BFGS-P-Instances Blelly 229 (331)∞∞∞∞∞∞4e50/15
BFGS-P-StPt Blelly 490 (1282)∞∞∞∞∞∞4e50/15
BFGS-P-range Blelly 198 (332)∞∞∞∞∞∞4e50/15
CMAES-APOP-Var1 Nguyen 0.97 (0.6)1.0 (0.7)3.1 (5)3.0 (2)1.7 (0.2)1.3 (0.1)1.0 (0.1)15/15
CMAES-APOP-Var2 Nguyen 1.3 (1)0.91 (0.3)3.2 (5)3.8 (0.6)1.9 (0.2)1.4 (0.1)1.2 (0.1)15/15
CMAES-APOP-Var3 Nguyen 1.4 (2)0.94 (0.2)2.0 (5)3.2 (2)1.7 (0.3)1.3 (0.1)1.1 (0.1)15/15
DE-best Vodopija 12 (7)21 (5)16 (2)16 (5)27 (33)265 (204)∞1e60/15
DE-rand Vodopija 19 (28)182 (34)161 (18)∞∞∞∞1e60/15
DE-ttb Vodopija 12 (10)24 (3)16 (2)10 (0.7)5.8 (0.4)10 (10)31 (34)4/15
PSA-CMA-ES Nishida 17 (8)8.8 (3)3.6 (0.7)1.7 (0.3)0.91 (0.1)0.85 (0.1)↑00.69 (0.1)↑015/15
PSA-CMA-ESwRS Nishida 2.7 (0.7)1.0 (0.2)2.8 (3)2.5 (1)1.4 (0.1)1.1 (0.1)0.86 (0.1)↑015/15

Δ fopt
f18, 20-D		 1e1
621		 1e0
3972		 1e-1
19561		 1e-2
28555		 1e-3
67569		 1e-5
1.3e5		 1e-7
1.5e5		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 3.8 (4)4.4 (3)3.8 (3)∞∞∞∞50020/15
uBBDE-N Vodopija 260 (126)∞∞∞∞∞∞1e60/15
uBBDE-best Vodopija 479 (924)∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 15 (2)10 (3)145 (154)∞∞∞∞1e60/15
uBBDE Vodopija 488 (147)∞∞∞∞∞∞1e60/15
uDE-best Vodopija 26 (8)20 (8)16 (9)500 (482)∞∞∞1e60/15
uDE-rand Vodopija 251 (59)733 (823)∞∞∞∞∞1e60/15
uDE-ttb Vodopija 27 (8)19 (7)11 (3)23 (20)32 (24)∞∞1e60/15
BBDE-N Vodopija 144 (97)3763 (4847)∞∞∞∞∞1e60/15
BBDE-best Vodopija 181 (350)∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 106 (52)236 (187)∞∞∞∞∞1e60/15
BBDE Vodopija 247 (93)∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞4e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞5e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞5e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞5e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞5e50/15
CMAES-APOP-Var1 Nguyen 0.85 (0.2)↑11.1 (0.2)2.1 (0.3)1.8 (0.2)0.90 (0.1)0.61 (0.1)↑00.63 (0.1)↑015/15
CMAES-APOP-Var2 Nguyen 0.77 (0.2)↑11.6 (4)2.1 (0.3)1.8 (0.1)0.90 (0.1)↑10.63 (0.1)↑00.66 (0.0)↑015/15
CMAES-APOP-Var3 Nguyen 0.84 (0.2)↑11.1 (0.2)2.2 (0.4)1.9 (0.2)0.90 (0.1)0.61 (0.1)↑00.63 (0.1)↑015/15
DE-best Vodopija 20 (8)22 (13)16 (10)66 (72)213 (178)∞∞1e60/15
DE-rand Vodopija 131 (45)355 (142)∞∞∞∞∞1e60/15
DE-ttb Vodopija 21 (7)19 (5)14 (6)38 (28)37 (40)∞∞1e60/15
PSA-CMA-ES Nishida 8.1 (2)2.9 (0.9)0.91 (0.2)0.89 (0.1)0.49 (0.1)↑00.43 (0.1)↑10.48 (0.3)↑015/15
PSA-CMA-ESwRS Nishida 0.96 (0.2)0.89 (0.2)↑11.3 (1)1.5 (0.3)0.73 (0.1)↑10.65 (0.4)0.64 (0.3)15/15

Δ fopt
f19, 20-D		 1e1
1		 1e0
1		 1e-1
3.4e5		 1e-2
4.7e6		 1e-3
6.2e6		 1e-5
6.7e6		 1e-7
6.7e6		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 100 (25)1661 (638)∞∞∞∞∞50030/15
uBBDE-N Vodopija 9704 (4998)∞∞∞∞∞∞1e60/15
uBBDE-best Vodopija 658 (206)6.3e5 (1e6)∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 1919 (637)∞∞∞∞∞∞1e60/15
uBBDE Vodopija 2.5e4 (1e4)∞∞∞∞∞∞1e60/15
uDE-best Vodopija 4123 (2840)∞∞∞∞∞∞1e60/15
uDE-rand Vodopija 2.1e4 (7066)∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija 4014 (2683)∞∞∞∞∞∞1e60/15
BBDE-N Vodopija 4257 (1804)∞∞∞∞∞∞1e60/15
BBDE-best Vodopija 619 (232)1.6e6 (2e6)∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 4838 (4378)∞∞∞∞∞∞1e60/15
BBDE Vodopija 8105 (4296)∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly 5.5e5 (5e5)∞∞∞∞∞∞2e50/15
BFGS-P-09 Blelly 6.4e5 (9e5)∞∞∞∞∞∞5e50/15
BFGS-P-Instances Blelly 1.0e6 (1e6)∞∞∞∞∞∞5e50/15
BFGS-P-StPt Blelly 1 (0)1 (0)6.7e-4 (2e-4)★4↑0∞∞∞∞5e50/15
BFGS-P-range Blelly 3.7e4 (6e4)∞∞∞∞∞∞8e50/15
CMAES-APOP-Var1 Nguyen 1 (0)1 (0)0.99 (0.3)0.60 (0.5)0.60 (0.6)0.71 (0.9)0.71 (1)8/15
CMAES-APOP-Var2 Nguyen 1 (0)1 (0)1.1 (0.3)0.60 (0.6)0.65 (0.5)1.1 (1)1.1 (1)6/15
CMAES-APOP-Var3 Nguyen 1 (0)1 (0)0.83 (0.2)↑10.75 (0.6)0.65 (0.7)0.95 (1)0.94 (1)7/15
DE-best Vodopija 1961 (946)∞∞∞∞∞∞1e60/15
DE-rand Vodopija 4581 (2364)∞∞∞∞∞∞1e60/15
DE-ttb Vodopija 1733 (1046)∞∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida 1188 (602)5.3e5 (9e4)1.6 (0.2)0.52 (0.5)0.67 (2)0.64 (2)0.63 (1)13/15
PSA-CMA-ESwRS Nishida 215 (36)1.5e5 (3e5)1.6 (0.2)0.26 (0.3)↑10.25 (0.3)↑10.39 (0.5)0.39 (0.5)15/15

Δ fopt
f20, 20-D		 1e1
82		 1e0
46150		 1e-1
3.1e6		 1e-2
5.5e6		 1e-3
5.5e6		 1e-5
5.6e6		 1e-7
5.6e6		 #succ
14/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.4 (0.4)∞∞∞∞∞∞50030/15
uBBDE-N Vodopija 369 (97)322 (428)∞∞∞∞∞1e60/15
uBBDE-best Vodopija 18 (5)∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 63 (7)43 (33)∞∞∞∞∞1e60/15
uBBDE Vodopija 1065 (223)∞∞∞∞∞∞1e60/15
uDE-best Vodopija 96 (20)2.9 (1)∞∞∞∞∞1e60/15
uDE-rand Vodopija 679 (159)∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija 98 (22)12 (5)∞∞∞∞∞1e60/15
BBDE-N Vodopija 235 (37)∞∞∞∞∞∞1e60/15
BBDE-best Vodopija 14 (3)∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 263 (118)14 (5)∞∞∞∞∞1e60/15
BBDE Vodopija 457 (123)∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly 1.8 (0.5)★23.6 (4)∞∞∞∞∞3e50/15
BFGS-P-09 Blelly 11 (2)17 (23)∞∞∞∞∞4e50/15
BFGS-P-Instances Blelly 11 (2)10 (11)∞∞∞∞∞4e50/15
BFGS-P-StPt Blelly 14 (3)7.2 (7)∞∞∞∞∞4e50/15
BFGS-P-range Blelly 12 (1)45 (38)∞∞∞∞∞4e50/15
CMAES-APOP-Var1 Nguyen 3.6 (0.6)11 (5)0.49 (0.4)↑10.53 (0.5)0.53 (0.5)0.53 (0.5)0.52 (0.5)12/15
CMAES-APOP-Var2 Nguyen 3.8 (1)11 (5)0.49 (0.2)↑10.57 (0.4)0.57 (0.6)0.57 (0.5)0.56 (0.6)12/15
CMAES-APOP-Var3 Nguyen 3.7 (0.8)12 (4)0.48 (0.2)↑10.56 (0.5)0.56 (0.5)0.55 (0.5)0.55 (0.6)11/15
DE-best Vodopija 74 (25)3.0 (0.9)5.4 (4)∞∞∞∞1e60/15
DE-rand Vodopija 314 (63)∞∞∞∞∞∞1e60/15
DE-ttb Vodopija 68 (22)13 (8)6.2 (5)∞∞∞∞1e60/15
PSA-CMA-ES Nishida 33 (8)22 (14)2.2 (3)4.7 (4)4.6 (6)4.6 (8)4.6 (4)8/15
PSA-CMA-ESwRS Nishida 5.2 (1)13 (3)2.5 (2)6.9 (8)6.9 (6)6.8 (9)6.8 (11)6/15

Δ fopt
f21, 20-D		 1e1
561		 1e0
6541		 1e-1
14103		 1e-2
14318		 1e-3
14643		 1e-5
15567		 1e-7
17589		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 6.4 (7)5.0 (4)5.0 (6)4.9 (4)4.8 (8)4.6 (4)4.0 (4)1/15
uBBDE-N Vodopija 77 (18)24 (6)25 (9)48 (16)71 (62)312 (372)424 (667)0/15
uBBDE-best Vodopija 44 (66)58 (58)54 (57)88 (119)215 (277)966 (613)∞1e60/15
uBBDE-ttb Vodopija 12 (3)48 (60)25 (31)25 (31)25 (30)24 (28)21 (25)14/15
uBBDE Vodopija 354 (115)101 (29)138 (95)510 (314)507 (597)∞∞1e60/15
uDE-best Vodopija 22 (9)44 (68)28 (31)28 (31)27 (30)26 (28)24 (25)14/15
uDE-rand Vodopija 370 (136)652 (605)441 (358)440 (685)437 (429)421 (412)1135 (718)1/15
uDE-ttb Vodopija 50 (14)35 (51)29 (28)30 (27)29 (27)28 (25)26 (22)14/15
BBDE-N Vodopija 53 (21)19 (6)19 (7)33 (15)44 (18)68 (44)161 (144)4/15
BBDE-best Vodopija 66 (74)71 (82)45 (42)45 (47)53 (55)961 (967)∞1e60/15
BBDE-ttb Vodopija 58 (55)22 (17)14 (8)16 (8)18 (7)22 (7)24 (5)15/15
BBDE Vodopija 157 (77)58 (31)50 (22)100 (81)157 (217)463 (481)420 (426)1/15
BFGS-M-17 Blelly 2.0 (2)2.8 (5)2.8 (3)2.8 (3)2.8 (3)12 (14)102 (169)0/15
BFGS-P-09 Blelly 2.1 (2)1.7 (2)2.4 (4)2.4 (4)2.4 (4)3.9 (7)∞9e40/15
BFGS-P-Instances Blelly 3.3 (6)1.7 (3)2.4 (3)2.4 (3)2.3 (3)4.4 (5)76 (100)0/15
BFGS-P-StPt Blelly 3.3 (3)2.0 (2)2.7 (3)2.7 (3)2.6 (4)4.7 (5)76 (87)0/15
BFGS-P-range Blelly 2.9 (6)2.7 (2)1.7 (2)1.7 (1)1.6 (1)3.0 (3)73 (59)0/15
CMAES-APOP-Var1 Nguyen 4.2 (13)600 (613)358 (482)353 (420)345 (275)325 (360)287 (343)7/15
CMAES-APOP-Var2 Nguyen 4.0 (12)723 (1223)581 (851)572 (846)560 (556)526 (642)466 (519)5/15
CMAES-APOP-Var3 Nguyen 27 (13)626 (990)382 (428)376 (375)368 (318)346 (497)307 (342)7/15
DE-best Vodopija 30 (16)75 (105)35 (66)35 (52)35 (71)33 (41)30 (33)12/15
DE-rand Vodopija 169 (68)190 (178)129 (145)133 (130)135 (212)137 (89)130 (132)6/15
DE-ttb Vodopija 27 (11)22 (45)11 (21)11 (20)11 (20)11 (19)11 (17)15/15
PSA-CMA-ES Nishida 14 (5)1145 (1566)532 (712)524 (1399)512 (701)482 (644)427 (855)11/15
PSA-CMA-ESwRS Nishida 9.2 (8)74 (132)42 (61)41 (60)40 (59)38 (55)33 (49)15/15

Δ fopt
f22, 20-D		 1e1
467		 1e0
5580		 1e-1
23491		 1e-2
24163		 1e-3
24948		 1e-5
26847		 1e-7
1.3e5		 #succ
12/15
DTS-CMA-ES 005-2pop v26 1model Bajer 14 (16)13 (16)∞∞∞∞∞50080/15
uBBDE-N Vodopija 112 (36)66 (42)60 (55)71 (33)95 (82)184 (186)∞1e60/15
uBBDE-best Vodopija 67 (86)106 (143)150 (137)626 (558)∞∞∞1e60/15
uBBDE-ttb Vodopija 58 (80)96 (122)68 (67)66 (65)64 (76)60 (77)12 (18)7/15
uBBDE Vodopija 417 (194)155 (88)314 (232)309 (403)601 (812)∞∞1e60/15
uDE-best Vodopija 75 (101)64 (99)309 (290)302 (279)294 (318)277 (237)56 (74)2/15
uDE-rand Vodopija 270 (165)314 (292)∞∞∞∞∞1e60/15
uDE-ttb Vodopija 97 (198)121 (132)688 (689)671 (1063)652 (612)610 (748)122 (143)1/15
BBDE-N Vodopija 97 (41)61 (44)66 (48)91 (74)91 (83)106 (106)36 (37)2/15
BBDE-best Vodopija 61 (102)80 (104)313 (348)627 (643)∞∞∞1e60/15
BBDE-ttb Vodopija 102 (55)65 (100)64 (108)64 (63)63 (94)61 (57)13 (14)7/15
BBDE Vodopija 210 (86)100 (37)71 (64)85 (95)118 (112)∞∞1e60/15
BFGS-M-17 Blelly 5.6 (7)8.8 (18)18 (17)18 (18)24 (24)∞∞1e50/15
BFGS-P-09 Blelly 1.7 (2)1.9 (3)10 (9)10 (10)10 (10)52 (72)∞1e50/15
BFGS-P-Instances Blelly 4.2 (4)6.3 (9)8.1 (8)7.8 (8)7.6 (6)18 (19)∞1e50/15
BFGS-P-StPt Blelly 0.39 (0.4)↑01.1 (1)8.6 (10)8.4 (6)8.2 (7)55 (51)∞1e50/15
BFGS-P-range Blelly 1.8 (2)2.1 (4)6.0 (10)5.8 (8)5.6 (7)22 (28)∞9e40/15
CMAES-APOP-Var1 Nguyen 14 (17)1435 (1255)∞∞∞∞∞4e60/15
CMAES-APOP-Var2 Nguyen 64 (17)1435 (1972)∞∞∞∞∞4e60/15
CMAES-APOP-Var3 Nguyen 11 (17)1077 (1077)∞∞∞∞∞4e60/15
DE-best Vodopija 48 (89)102 (150)189 (227)185 (229)181 (225)172 (130)35 (30)3/15
DE-rand Vodopija 186 (122)488 (913)∞∞∞∞∞1e60/15
DE-ttb Vodopija 54 (113)117 (121)∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida 16 (24)1065 (1793)∞∞∞∞∞2e70/15
PSA-CMA-ESwRS Nishida 9.1 (13)128 (170)104 (76)101 (74)98 (72)91 (67)18 (13)15/15

Δ fopt
f23, 20-D		 1e1
3.0		 1e0
1614		 1e-1
67457		 1e-2
3.7e5		 1e-3
4.9e5		 1e-5
8.1e5		 1e-7
8.4e5		 #succ
15/15
DTS-CMA-ES 005-2pop v26 1model Bajer 2.5 (4)0.62 (0.1)★4↑11.1 (1)★4∞∞★4∞★4∞5002★40/15
uBBDE-N Vodopija 1.7 (2)∞∞∞∞∞∞1e60/15
uBBDE-best Vodopija 2.7 (3)79 (71)∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija 2.3 (2)∞∞∞∞∞∞1e60/15
uBBDE Vodopija 2.3 (2)∞∞∞∞∞∞1e60/15
uDE-best Vodopija 2.5 (2)∞∞∞∞∞∞1e60/15
uDE-rand Vodopija 2.4 (2)∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija 1.8 (2)∞∞∞∞∞∞1e60/15
BBDE-N Vodopija 2.2 (3)∞∞∞∞∞∞1e60/15
BBDE-best Vodopija 2.3 (2)1101 (1194)∞∞∞∞∞1e60/15
BBDE-ttb Vodopija 1.8 (2)4473 (5732)∞∞∞∞∞1e60/15
BBDE Vodopija 1.9 (2)∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly 120 (133)141 (123)∞∞∞∞∞9e40/15
BFGS-P-09 Blelly 238 (477)1103 (1518)∞∞∞∞∞7e50/15
BFGS-P-Instances Blelly 214 (295)651 (796)∞∞∞∞∞7e50/15
BFGS-P-StPt Blelly 2331 (3854)808 (904)∞∞∞∞∞8e50/15
BFGS-P-range Blelly 124 (161)566 (627)∞∞∞∞∞7e50/15
CMAES-APOP-Var1 Nguyen 2.3 (2)191 (11)831 (964)∞∞∞∞4e60/15
CMAES-APOP-Var2 Nguyen 1.4 (1)635 (1245)386 (386)∞∞∞∞4e60/15
CMAES-APOP-Var3 Nguyen 2.9 (2)392 (1240)831 (549)∞∞∞∞4e60/15
DE-best Vodopija 2.2 (2)∞∞∞∞∞∞1e60/15
DE-rand Vodopija 2.7 (4)∞∞∞∞∞∞1e60/15
DE-ttb Vodopija 2.1 (2)∞∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida 16 (11)4.4e4 (4e4)∞∞∞∞∞2e70/15
PSA-CMA-ESwRS Nishida 5.2 (7)1631 (3158)2123 (3093)810 (821)∞∞∞2e70/15

Δ fopt
f24, 20-D		 1e1
1.3e6		 1e0
7.5e6		 1e-1
5.2e7		 1e-2
5.2e7		 1e-3
5.2e7		 1e-5
5.2e7		 1e-7
5.2e7		 #succ
3/15
DTS-CMA-ES 005-2pop v26 1model Bajer 0.06 (0.1)★4∞∞∞∞∞∞50030/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-N Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
BBDE Vodopija ∞∞∞∞∞∞∞1e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞1e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞2e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞2e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞2e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞2e50/15
CMAES-APOP-Var1 Nguyen ∞∞∞∞∞∞∞4e60/15
CMAES-APOP-Var2 Nguyen ∞∞∞∞∞∞∞4e60/15
CMAES-APOP-Var3 Nguyen ∞∞∞∞∞∞∞4e60/15
DE-best Vodopija ∞∞∞∞∞∞∞1e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞1e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞1e60/15
PSA-CMA-ES Nishida ∞∞∞∞∞∞∞2e70/15
PSA-CMA-ESwRS Nishida 5.2 (3)0.93 (0.6)0.48 (0.6)0.48 (0.7)0.48 (0.5)0.48 (0.4)0.48 (0.8)9/15

Previous dimension | Dimension = 40 | First dimension

Δ fopt
f1, 40-D		 1e1
83		 1e0
83		 1e-1
83		 1e-2
83		 1e-3
83		 1e-5
83		 1e-7
83		 #succ
15/15
uBBDE-N Vodopija 2571 (299)4871 (295)7300 (255)9548 (326)1.2e4 (205)1.7e4 (275)2.2e4 (353)1/15
uBBDE-best Vodopija 85 (29)1.6e4 (3e4)∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 263 (28)491 (47)785 (134)2125 (728)1.7e4 (2e4)∞∞2e60/15
uBBDE Vodopija 9698 (724)1.8e4 (1000)∞∞∞∞∞2e60/15
uDE-best Vodopija 444 (107)716 (97)1010 (105)1286 (130)1571 (142)2114 (149)2691 (134)15/15
uDE-rand Vodopija 8413 (454)1.4e4 (592)2.0e4 (587)∞∞∞∞2e60/15
uDE-ttb Vodopija 432 (73)722 (110)1044 (172)1363 (139)1662 (167)2273 (260)2882 (264)15/15
BBDE-N Vodopija 2107 (308)4334 (398)6635 (396)9127 (278)1.2e4 (323)1.7e4 (523)2.2e4 (281)7/15
BBDE-best Vodopija 63 (10)570 (1214)3.5e5 (4e5)∞∞∞∞2e60/15
BBDE-ttb Vodopija 2816 (498)6312 (517)1.0e4 (567)1.4e4 (682)1.8e4 (534)∞∞2e60/15
BBDE Vodopija 6976 (631)1.5e4 (838)4.4e4 (2e4)∞∞∞∞2e60/15
BFGS-M-17 Blelly 1 (0)★41 (0)★41 (0)★41 (0)★41 (0)★41.5 (0)1.7 (0.5)14/15
BFGS-P-09 Blelly 1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)25 (52)6/15
BFGS-P-Instances Blelly 1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)19 (26)8/15
BFGS-P-StPt Blelly 1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)37 (75)6/15
BFGS-P-range Blelly 1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.0 (0)1.2 (0.5)28 (74)6/15
CMAES-APOP-Var1 Nguyen 8.0 (1.0)14 (0.9)20 (1)26 (2)31 (2)43 (2)56 (2)15/15
CMAES-APOP-Var2 Nguyen 8.5 (1)15 (1)20 (2)26 (2)32 (1)44 (2)56 (2)15/15
CMAES-APOP-Var3 Nguyen 8.4 (0.9)14 (0.8)20 (0.7)26 (2)32 (2)44 (2)56 (2)15/15
DE-best Vodopija 364 (39)627 (69)919 (93)1192 (126)1463 (160)2054 (167)2616 (139)15/15
DE-rand Vodopija 4840 (369)1.1e4 (478)1.7e4 (532)2.3e4 (717)∞∞∞2e60/15
DE-ttb Vodopija 364 (76)675 (108)973 (81)1297 (127)1617 (156)2249 (161)2864 (185)15/15
PSA-CMA-ES Nishida 55 (14)84 (15)111 (23)138 (23)166 (27)221 (31)274 (33)15/15
PSA-CMA-ESwRS Nishida 10 (1)16 (1)22 (2)28 (2)34 (1)46 (2)58 (2)15/15

Δ fopt
f2, 40-D		 1e1
796		 1e0
797		 1e-1
799		 1e-2
799		 1e-3
800		 1e-5
802		 1e-7
804		 #succ
15/15
uBBDE-N Vodopija 1351 (27)1627 (32)1922 (26)2207 (38)5331 (5010)∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija 156 (18)187 (19)218 (24)246 (24)275 (28)335 (29)396 (39)15/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 164 (16)195 (17)226 (19)260 (20)294 (25)358 (30)422 (35)15/15
BBDE-N Vodopija 1015 (34)1296 (25)1571 (39)1862 (30)2139 (29)∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 1555 (58)1966 (97)3008 (1298)∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 1.7e4 (2e4)∞∞∞∞∞∞2e60/15
BFGS-P-09 Blelly 5.8 (1)6.1 (1)6.4 (1)6.7 (1)7.0 (1)7.6 (2)8.1 (1)15/15
BFGS-P-Instances Blelly 6.2 (1)6.6 (1)6.9 (1)7.3 (1)7.6 (2)8.2 (2)8.9 (2)14/15
BFGS-P-StPt Blelly 5.9 (1)6.5 (1)6.9 (2)7.2 (1)7.5 (2)7.9 (2)8.4 (2)15/15
BFGS-P-range Blelly 6.3 (1)6.6 (1)6.8 (1)7.1 (1)7.4 (2)8.0 (2)8.7 (2)15/15
CMAES-APOP-Var1 Nguyen 59 (5)69 (4)75 (4)81 (3)85 (4)89 (1)90 (2)15/15
CMAES-APOP-Var2 Nguyen 57 (8)66 (6)74 (5)80 (4)83 (4)87 (2)89 (2)15/15
CMAES-APOP-Var3 Nguyen 58 (4)69 (4)75 (3)81 (3)84 (4)88 (3)90 (3)15/15
DE-best Vodopija 129 (11)160 (14)188 (19)215 (18)244 (21)305 (23)364 (28)15/15
DE-rand Vodopija 1712 (65)2359 (85)∞∞∞∞∞2e60/15
DE-ttb Vodopija 140 (12)173 (12)205 (15)237 (17)272 (17)337 (17)399 (22)15/15
PSA-CMA-ES Nishida 133 (7)137 (10)142 (10)146 (8)150 (8)155 (8)161 (9)15/15
PSA-CMA-ESwRS Nishida 61 (9)70 (7)77 (5)81 (6)85 (5)88 (2)89 (2)15/15

Δ fopt
f3, 40-D		 1e1
15526		 1e0
15602		 1e-1
15612		 1e-2
15641		 1e-3
15646		 1e-5
15651		 1e-7
15656		 #succ
15/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞3e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞3e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞7e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞7e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞7e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞7e50/15
CMAES-APOP-Var1 Nguyen ∞∞∞∞∞∞∞8e60/15
CMAES-APOP-Var2 Nguyen ∞∞∞∞∞∞∞8e60/15
CMAES-APOP-Var3 Nguyen ∞∞∞∞∞∞∞8e60/15
DE-best Vodopija ∞∞∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida ∞∞∞∞∞∞∞4e70/15
PSA-CMA-ESwRS Nishida ∞∞∞∞∞∞∞4e70/15

Δ fopt
f4, 40-D		 1e1
15536		 1e0
15601		 1e-1
15659		 1e-2
15678		 1e-3
15703		 1e-5
15733		 1e-7
2.8e5		 #succ
6/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞3e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞3e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞4e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞9e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞9e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞9e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞8e50/15
CMAES-APOP-Var1 Nguyen ∞∞∞∞∞∞∞8e60/15
CMAES-APOP-Var2 Nguyen ∞∞∞∞∞∞∞8e60/15
CMAES-APOP-Var3 Nguyen ∞∞∞∞∞∞∞8e60/15
DE-best Vodopija ∞∞∞∞∞∞∞3e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida ∞∞∞∞∞∞∞4e70/15
PSA-CMA-ESwRS Nishida ∞∞∞∞∞∞∞4e70/15

Δ fopt
f5, 40-D		 1e1
98		 1e0
116		 1e-1
120		 1e-2
121		 1e-3
121		 1e-5
121		 1e-7
121		 #succ
15/15
uBBDE-N Vodopija 536 (79)485 (74)470 (69)466 (68)466 (68)466 (68)466 (68)15/15
uBBDE-best Vodopija 19 (9)17 (8)17 (8)17 (8)17 (8)17 (8)17 (8)15/15
uBBDE-ttb Vodopija 36 (32)31 (28)30 (27)30 (27)30 (27)30 (27)30 (27)15/15
uBBDE Vodopija 170 (35)146 (30)143 (28)142 (28)142 (28)142 (28)142 (28)15/15
uDE-best Vodopija 41 (8)42 (9)41 (9)40 (9)40 (9)40 (9)40 (9)15/15
uDE-rand Vodopija 195 (27)180 (34)175 (35)174 (35)174 (35)174 (35)174 (35)15/15
uDE-ttb Vodopija 63 (10)59 (9)58 (11)57 (11)57 (11)57 (11)57 (11)15/15
BBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 2.0 (0.4)2.2 (0.4)2.1 (0.3)2.2 (0.3)2.2 (0.3)2.2 (0.3)2.2 (0.3)15/15
BFGS-P-09 Blelly 1.6 (0.2)1.8 (0.2)1.8 (0.3)1.8 (0.2)1.8 (0.2)1.8 (0.2)1.8 (0.2)15/15
BFGS-P-Instances Blelly 1.5 (0.2)1.7 (0.2)1.7 (0.3)1.8 (0.3)1.8 (0.3)1.8 (0.3)1.8 (0.3)15/15
BFGS-P-StPt Blelly 1.3 (0)1.5 (0)1.4 (0)★1.4 (0)★21.4 (0)★21.4 (0)★21.4 (0)★215/15
BFGS-P-range Blelly 1.5 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)15/15
CMAES-APOP-Var1 Nguyen 4.6 (0.7)4.5 (0.6)4.5 (0.5)4.5 (0.5)4.5 (0.5)4.5 (0.5)4.5 (0.5)15/15
CMAES-APOP-Var2 Nguyen 4.4 (0.7)4.3 (0.7)4.3 (0.5)4.3 (0.5)4.3 (0.5)4.3 (0.5)4.3 (0.5)15/15
CMAES-APOP-Var3 Nguyen 4.6 (0.9)4.4 (0.8)4.3 (0.8)4.3 (0.7)4.3 (0.7)4.3 (0.7)4.3 (0.7)15/15
DE-best Vodopija 7506 (1000)1.4e4 (1217)∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 4254 (396)6158 (403)8322 (378)1.1e4 (465)1.3e4 (601)∞∞2e60/15
PSA-CMA-ES Nishida 5.8 (1)5.6 (1)5.5 (1)5.4 (1)5.4 (1)5.4 (1)5.4 (1)15/15
PSA-CMA-ESwRS Nishida 4.4 (0.4)4.2 (0.4)4.2 (0.4)4.2 (0.4)4.2 (0.4)4.2 (0.4)4.2 (0.4)15/15

Δ fopt
f6, 40-D		 1e1
3507		 1e0
5523		 1e-1
7168		 1e-2
9470		 1e-3
11538		 1e-5
15007		 1e-7
19222		 #succ
15/15
uBBDE-N Vodopija 8551 (9126)∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 2184 (2292)∞∞∞∞∞∞3e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija 2767 (3261)∞∞∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 134 (21)120 (14)120 (10)112 (10)110 (8)110 (8)517 (494)0/15
BBDE-N Vodopija 446 (24)∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 551 (46)∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 4.2 (1)4.4 (1)6.0 (3)18 (12)4655 (4232)∞∞4e60/15
BFGS-P-09 Blelly 8.3 (3)8.0 (2)9.3 (4)11 (5)11 (4)11 (7)307 (418)7/15
BFGS-P-Instances Blelly 8.2 (3)7.7 (2)8.5 (2)7.9 (2)7.9 (2)10 (5)173 (240)8/15
BFGS-P-StPt Blelly 7.3 (2)6.8 (1)7.2 (1.0)7.7 (3)7.7 (3)11 (4)297 (530)7/15
BFGS-P-range Blelly 8.7 (2)8.0 (1)8.1 (1)8.1 (1)8.0 (1)10 (5)288 (421)7/15
CMAES-APOP-Var1 Nguyen 1.5 (0.2)1.4 (0.1)1.4 (0.2)1.3 (0.2)1.3 (0.1)1.4 (0.1)1.3 (0.1)15/15
CMAES-APOP-Var2 Nguyen 1.5 (0.2)1.4 (0.1)1.4 (0.1)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)15/15
CMAES-APOP-Var3 Nguyen 1.6 (0.2)1.4 (0.1)1.4 (0.1)1.4 (0.1)1.3 (0.1)1.4 (0.1)1.4 (0.1)15/15
DE-best Vodopija 327 (63)750 (561)∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 95 (16)94 (12)102 (10)97 (8)97 (8)101 (6)115 (55)1/15
PSA-CMA-ES Nishida 359 (19)339 (145)8.0e4 (9e4)∞∞∞∞4e70/15
PSA-CMA-ESwRS Nishida 1.7 (0.3)1.5 (0.3)1.6 (0.2)1.5 (0.1)1.4 (0.1)1.4 (0.1)1.4 (0.1)15/15

Δ fopt
f7, 40-D		 1e1
10698		 1e0
17839		 1e-1
41037		 1e-2
66294		 1e-3
66294		 1e-5
66294		 1e-7
68145		 #succ
15/15
uBBDE-N Vodopija 113 (17)∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 132 (145)∞∞∞∞∞∞2e60/15
uBBDE Vodopija 924 (1123)∞∞∞∞∞∞2e60/15
uDE-best Vodopija 49 (43)∞∞∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 25 (4)∞∞∞∞∞∞2e60/15
BBDE-N Vodopija 121 (17)∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 107 (27)∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞41410/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞43000/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞43000/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞43000/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞43000/15
CMAES-APOP-Var1 Nguyen 3.7 (2)2.9 (0.6)1.5 (0.3)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)15/15
CMAES-APOP-Var2 Nguyen 3.8 (2)3.0 (0.5)1.5 (0.3)1.1 (0.3)1.1 (0.3)1.1 (0.3)1.1 (0.2)15/15
CMAES-APOP-Var3 Nguyen 3.9 (0.7)2.8 (0.6)1.4 (0.3)0.98 (0.3)0.98 (0.3)0.98 (0.3)0.97 (0.2)15/15
DE-best Vodopija 32 (8)∞∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 19 (4)1612 (2467)∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida 2.5 (0.5)2.4 (0.6)1.3 (0.2)1.0 (0.3)1.0 (0.3)1.0 (0.3)0.98 (0.2)15/15
PSA-CMA-ESwRS Nishida 3.1 (2)2.9 (0.5)1.5 (0.3)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.0 (0.2)15/15

Δ fopt
f8, 40-D		 1e1
7080		 1e0
10655		 1e-1
11012		 1e-2
11265		 1e-3
11430		 1e-5
11701		 1e-7
11969		 #succ
15/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞3e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija 111 (6)142 (89)146 (88)151 (85)155 (83)165 (82)175 (80)14/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 107 (10)114 (86)118 (83)123 (81)128 (80)139 (78)149 (76)15/15
BBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 4.7 (4)31 (30)38 (27)38 (26)41 (31)95 (78)∞2e60/15
BFGS-P-09 Blelly 2.3 (0.2)1.8 (0.2)1.8 (0.2)1.8 (0.2)1.8 (0.2)1.7 (0.2)1.9 (1)15/15
BFGS-P-Instances Blelly 2.4 (0.3)1.8 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.2)1.7 (0.1)1.8 (0.2)15/15
BFGS-P-StPt Blelly 1.2 (0.3)★31.7 (1)1.7 (1.0)1.7 (0.9)1.6 (0.9)1.6 (0.9)2.1 (1)15/15
BFGS-P-range Blelly 2.1 (0.4)2.2 (1)2.2 (1)2.1 (1)2.1 (1)2.1 (1)2.0 (1)15/15
CMAES-APOP-Var1 Nguyen 7.0 (0.8)24 (67)25 (67)24 (67)24 (66)24 (65)24 (63)15/15
CMAES-APOP-Var2 Nguyen 7.4 (1)42 (68)42 (68)42 (67)42 (67)41 (66)41 (65)15/15
CMAES-APOP-Var3 Nguyen 7.1 (0.8)6.4 (0.6)6.6 (0.5)6.6 (0.5)6.6 (0.5)6.6 (0.5)6.6 (0.5)15/15
DE-best Vodopija 110 (11)128 (85)133 (82)138 (80)143 (80)154 (76)163 (75)15/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 104 (5)100 (3)104 (3)109 (3)115 (3)126 (3)137 (4)15/15
PSA-CMA-ES Nishida 51 (5)45 (3)47 (3)47 (3)46 (3)46 (3)45 (2)15/15
PSA-CMA-ESwRS Nishida 6.9 (0.5)6.3 (0.4)6.5 (0.3)6.5 (0.3)6.5 (0.3)6.5 (0.3)6.5 (0.3)15/15

Δ fopt
f9, 40-D		 1e1
6122		 1e0
12982		 1e-1
13300		 1e-2
13496		 1e-3
13651		 1e-5
13909		 1e-7
14142		 #succ
15/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞3e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 2.6 (0.2)5.5 (7)8.7 (10)11 (11)12 (10)15 (13)1826 (1756)0/15
BFGS-P-09 Blelly 2.4 (0.4)1.6 (0.2)1.6 (0.2)1.6 (0.2)1.6 (0.2)1.6 (0.2)1.6 (0.2)15/15
BFGS-P-Instances Blelly 2.4 (0.5)1.8 (0.9)1.8 (0.9)1.8 (0.9)1.8 (0.9)1.8 (0.9)1.7 (0.8)15/15
BFGS-P-StPt Blelly 0.41 (0)★4↑00.24 (2e-3)★4↑00.26 (5e-3)★4↑00.27 (8e-3)★4↑00.28 (8e-3)★4↑00.28 (9e-3)★4↑00.28 (0.0)★4↑015/15
BFGS-P-range Blelly 2.3 (0.3)1.4 (0.8)1.4 (0.8)1.4 (0.8)1.3 (0.8)1.3 (0.8)1.3 (0.7)15/15
CMAES-APOP-Var1 Nguyen 8.2 (1)21 (56)21 (56)21 (55)21 (55)20 (54)20 (53)15/15
CMAES-APOP-Var2 Nguyen 8.5 (1.0)20 (52)20 (53)20 (53)20 (53)20 (52)20 (51)15/15
CMAES-APOP-Var3 Nguyen 8.0 (1)13 (1)13 (1)13 (1)13 (1)13 (1)13 (1)15/15
DE-best Vodopija ∞∞∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida 57 (4)36 (2)38 (2)38 (2)38 (2)38 (2)37 (2)15/15
PSA-CMA-ESwRS Nishida 8.4 (1)7.9 (0.6)8.3 (0.5)8.3 (0.5)8.3 (0.5)8.3 (0.5)8.3 (0.5)15/15

Δ fopt
f10, 40-D		 1e1
25536		 1e0
29762		 1e-1
35676		 1e-2
51579		 1e-3
56007		 1e-5
65128		 1e-7
70824		 #succ
15/15
uBBDE-N Vodopija 42 (1)44 (1)43 (0.9)34 (0.7)76 (54)∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-N Vodopija 50 (2)52 (3)50 (3)290 (358)∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 1175 (1743)∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 531 (456)∞∞∞∞∞∞2e60/15
BFGS-P-09 Blelly 0.19 (0.0)↑00.18 (0.0)↑00.16 (0.0)↑00.11 (0.0)↑00.11 (0.0)↑00.10 (0.0)↑00.10 (0.0)↑015/15
BFGS-P-Instances Blelly 0.19 (0.0)↑00.17 (0.0)↑00.15 (0.0)↑00.11 (0.0)↑00.10 (1e-2)↑00.10 (0.0)↑00.09 (0.0)↑015/15
BFGS-P-StPt Blelly 0.19 (0.0)↑00.17 (0.0)↑00.15 (0.0)↑00.11 (0.0)↑00.10 (0.0)↑00.10 (0.0)↑00.10 (0.0)↑015/15
BFGS-P-range Blelly 0.18 (0.0)↑00.16 (0.0)↑00.15 (0.0)↑00.11 (0.0)↑00.10 (0.0)↑00.10 (0.0)↑00.10 (0.0)↑015/15
CMAES-APOP-Var1 Nguyen 1.8 (0.2)1.9 (0.2)1.7 (0.1)1.3 (0.1)1.2 (0.0)1.1 (0.0)1.0 (0.0)15/15
CMAES-APOP-Var2 Nguyen 1.8 (0.2)1.9 (0.1)1.7 (0.1)1.3 (0.1)1.2 (0.0)1.1 (0.0)1.0 (0.0)15/15
CMAES-APOP-Var3 Nguyen 1.8 (0.2)1.9 (0.1)1.7 (0.1)1.2 (0.1)1.2 (0.1)1.1 (0.0)1.0 (0.0)15/15
DE-best Vodopija ∞∞∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida 4.2 (0.2)3.8 (0.2)3.2 (0.2)2.3 (0.1)2.1 (0.1)1.9 (0.1)1.8 (0.1)15/15
PSA-CMA-ESwRS Nishida 1.9 (0.2)1.9 (0.2)1.7 (0.1)1.3 (0.1)1.2 (0.1)1.1 (0.0)1.0 (0.0)15/15

Δ fopt
f11, 40-D		 1e1
2368		 1e0
4855		 1e-1
11681		 1e-2
25315		 1e-3
29749		 1e-5
38949		 1e-7
48211		 #succ
15/15
uBBDE-N Vodopija 175 (13)142 (8)82 (3)48 (2)50 (1)153 (154)∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 22 (4)60 (124)102 (157)663 (1131)∞∞∞3e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-N Vodopija 127 (13)109 (7)64 (3)39 (1)41 (1.0)43 (0.8)∞2e60/15
BBDE-best Vodopija 6671 (7373)∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 209 (39)182 (18)106 (6)64 (4)89 (51)∞∞2e60/15
BBDE Vodopija 524 (47)1016 (626)∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 0.91 (0.3)1.5 (1)1.7 (1)1.4 (2)5.8 (7)110 (99)∞3e50/15
BFGS-P-09 Blelly 1.5 (0.7)0.80 (0.4)↑10.36 (0.2)↑10.18 (0.1)↑00.16 (0.1)↑00.14 (0.1)↑07.8 (17)12/15
BFGS-P-Instances Blelly 6.2 (3)3.1 (2)1.3 (0.6)0.62 (0.3)↑10.53 (0.3)↑10.42 (0.2)↑12.6 (2)12/15
BFGS-P-StPt Blelly 3.8 (5)2.0 (3)0.85 (1)0.40 (0.5)0.35 (0.4)↑00.28 (0.3)↑08.1 (16)12/15
BFGS-P-range Blelly 3.1 (4)1.6 (2)0.66 (0.9)0.32 (0.4)↑10.28 (0.4)↑10.22 (0.3)↑16.7 (13)12/15
CMAES-APOP-Var1 Nguyen 14 (0.7)7.4 (0.3)3.2 (0.1)1.6 (0.0)1.4 (0.0)1.1 (0.0)0.95 (0.0)↑015/15
CMAES-APOP-Var2 Nguyen 14 (0.9)7.4 (0.3)3.2 (0.1)1.6 (0.0)1.4 (0.0)1.1 (0.0)0.95 (0.0)↑015/15
CMAES-APOP-Var3 Nguyen 14 (0.9)7.4 (0.3)3.2 (0.1)1.6 (0.1)1.4 (0.0)1.1 (0.0)0.95 (0.0)↑015/15
DE-best Vodopija ∞∞∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida 23 (1)12 (0.7)5.1 (0.3)2.5 (0.2)2.2 (0.1)1.8 (0.1)1.6 (0.1)15/15
PSA-CMA-ESwRS Nishida 13 (0.8)7.1 (0.2)3.1 (0.1)1.5 (0.0)1.3 (0.0)1.1 (0.0)0.91 (0.0)↑015/15

Δ fopt
f12, 40-D		 1e1
4169		 1e0
7452		 1e-1
9174		 1e-2
10751		 1e-3
13146		 1e-5
22758		 1e-7
25192		 #succ
15/15
uBBDE-N Vodopija 998 (602)∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞3e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija 223 (243)568 (538)3077 (2290)2628 (3675)∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 172 (243)772 (1006)1445 (927)2631 (2838)2155 (2739)∞∞2e60/15
BBDE-N Vodopija 600 (487)∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 1.2 (2)3.6 (7)19 (19)328 (559)∞∞∞2e50/15
BFGS-P-09 Blelly 2.6 (1)1.8 (0.7)1.6 (0.6)1.4 (0.5)1.2 (0.4)0.77 (0.2)0.74 (0.2)↑113/15
BFGS-P-Instances Blelly 3.7 (1.0)2.3 (0.8)2.0 (0.7)1.8 (0.5)1.5 (0.4)0.95 (0.3)0.89 (0.2)↑114/15
BFGS-P-StPt Blelly 2.3 (1)1.6 (0.8)1.4 (0.7)1.3 (0.6)1.1 (0.5)0.70 (0.3)↑00.67 (0.3)↑015/15
BFGS-P-range Blelly 2.9 (1)1.9 (0.8)1.7 (0.6)1.5 (0.5)1.3 (0.4)0.83 (0.3)0.79 (0.2)↑114/15
CMAES-APOP-Var1 Nguyen 1.5 (2)1.6 (2)2.1 (2)2.2 (2)2.2 (1)1.7 (0.6)1.8 (0.5)15/15
CMAES-APOP-Var2 Nguyen 1.3 (1.0)2.0 (1)2.4 (1)2.5 (1)2.5 (1)1.9 (0.6)2.0 (0.6)15/15
CMAES-APOP-Var3 Nguyen 1.2 (0.9)1.4 (1.0)1.6 (1)1.8 (1)1.9 (0.9)1.5 (0.5)1.6 (0.5)15/15
DE-best Vodopija 80 (4)263 (403)217 (273)1233 (1534)2150 (1674)1244 (1648)1126 (1310)0/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 50 (6)165 (137)628 (1364)∞∞∞∞2e60/15
PSA-CMA-ES Nishida 18 (5)12 (6)14 (9)16 (9)18 (7)16 (3)18 (4)15/15
PSA-CMA-ESwRS Nishida 2.6 (2)2.6 (2)2.9 (2)3.0 (2)2.8 (1)2.1 (0.8)2.2 (0.7)15/15

Δ fopt
f13, 40-D		 1e1
2029		 1e0
6916		 1e-1
8734		 1e-2
11861		 1e-3
71936		 1e-5
98467		 1e-7
1.2e5		 #succ
15/15
uBBDE-N Vodopija 449 (11)190 (3)197 (2)∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 966 (1382)∞∞∞∞∞∞2e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija 108 (15)178 (205)687 (815)∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 82 (12)131 (143)580 (619)1013 (1042)543 (482)∞∞3e60/15
BBDE-N Vodopija 430 (12)184 (5)194 (3)∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 678 (25)4329 (2820)∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 1.4 (0.1)1.0 (0.0)1.0 (0.0)1.00 (0.0)0.20 (2e-3)↑078 (70)∞2e60/15
BFGS-P-09 Blelly 1.4 (0.1)0.52 (0.0)↑00.55 (0.0)↑00.49 (0.0)↑00.09 (2e-3)↑03.0 (3)113 (161)0/15
BFGS-P-Instances Blelly 1.4 (0.1)0.53 (0.0)↑00.55 (0.0)↑00.49 (0.0)↑00.09 (2e-3)↑05.2 (10)136 (169)0/15
BFGS-P-StPt Blelly 1.4 (0.1)0.52 (0.0)↑00.55 (0.0)↑00.48 (0.0)↑00.09 (2e-3)↑00.45 (0.7)142 (156)0/15
BFGS-P-range Blelly 1.4 (0.1)0.53 (0.0)↑00.55 (0.0)↑00.49 (0.0)↑00.09 (2e-3)↑03.8 (10)55 (57)0/15
CMAES-APOP-Var1 Nguyen 1.6 (0.1)3.2 (5)11 (10)18 (9)4.0 (1)3.1 (0.8)3.5 (1)15/15
CMAES-APOP-Var2 Nguyen 1.5 (0.1)4.4 (5)11 (6)16 (8)3.4 (2)3.4 (1)3.6 (2)15/15
CMAES-APOP-Var3 Nguyen 3.3 (0.2)4.5 (4)8.3 (7)18 (13)4.4 (1)3.6 (1)3.9 (2)15/15
DE-best Vodopija 100 (11)204 (184)579 (386)2883 (2619)∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 80 (6)123 (132)700 (844)1453 (1401)499 (575)∞∞3e60/15
PSA-CMA-ES Nishida 9.0 (3)3.8 (0.8)5.9 (3)7.7 (5)1.9 (2)1.6 (1)3.0 (3)15/15
PSA-CMA-ESwRS Nishida 2.0 (0.1)4.9 (3)7.2 (6)8.1 (5)1.9 (1)2.0 (1)2.8 (2)15/15

Δ fopt
f14, 40-D		 1e1
304		 1e0
616		 1e-1
777		 1e-2
1105		 1e-3
2207		 1e-5
4825		 1e-7
57711		 #succ
15/15
uBBDE-N Vodopija 491 (51)675 (31)898 (34)905 (28)593 (17)401 (5)∞2e60/15
uBBDE-best Vodopija 15 (5)2292 (2201)∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 48 (5)63 (9)282 (51)1517 (1877)1.7e4 (2e4)∞∞3e60/15
uBBDE Vodopija 2187 (230)2808 (121)∞∞∞∞∞2e60/15
uDE-best Vodopija 137 (34)125 (18)153 (23)249 (38)∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 137 (29)137 (19)164 (18)258 (38)∞∞∞2e60/15
BBDE-N Vodopija 328 (70)538 (38)794 (38)827 (23)549 (20)381 (6)∞2e60/15
BBDE-best Vodopija 11 (3)241 (440)∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 390 (92)723 (73)1217 (60)1302 (86)1016 (462)∞∞2e60/15
BBDE Vodopija 1079 (160)2061 (123)∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 2.1 (1)1.9 (0.6)2.0 (0.6)1.9 (0.6)1.3 (0.3)1.1 (0.2)108 (146)0/15
BFGS-P-09 Blelly 0.89 (0.1)↑10.73 (0.1)↑00.92 (0.1)1.1 (0.1)0.76 (0.1)↑00.62 (0.1)↑010 (18)0/15
BFGS-P-Instances Blelly 0.90 (0.2)0.74 (0.1)↑00.93 (0.2)1.1 (0.2)0.78 (0.1)↑00.65 (0.1)↑027 (26)0/15
BFGS-P-StPt Blelly 0.59 (0.1)★3↑00.56 (0.0)★2↑00.73 (0.1)★↑00.92 (0.1)↑00.71 (0.1)↑00.57 (0.1)↑012 (14)0/15
BFGS-P-range Blelly 0.82 (0.1)↑10.71 (0.2)↑00.87 (0.2)↑11.0 (0.1)0.77 (0.1)↑00.61 (0.1)↑013 (27)0/15
CMAES-APOP-Var1 Nguyen 2.0 (0.4)2.1 (0.2)2.8 (0.2)3.7 (0.3)4.3 (0.5)6.4 (0.5)1.1 (0.0)15/15
CMAES-APOP-Var2 Nguyen 2.0 (0.5)2.1 (0.2)2.8 (0.3)3.6 (0.4)4.2 (0.3)6.6 (0.4)1.2 (0.1)15/15
CMAES-APOP-Var3 Nguyen 2.0 (0.4)2.1 (0.3)2.8 (0.2)3.6 (0.4)4.1 (0.4)6.6 (0.5)1.1 (0.0)15/15
DE-best Vodopija 79 (13)105 (13)139 (13)254 (40)1.4e4 (1e4)∞∞2e60/15
DE-rand Vodopija 1204 (201)2181 (107)∞∞∞∞∞2e60/15
DE-ttb Vodopija 75 (14)96 (14)131 (20)257 (35)∞∞∞2e60/15
PSA-CMA-ES Nishida 97 (32)56 (15)63 (13)62 (13)39 (7)26 (2)2.9 (0.2)15/15
PSA-CMA-ESwRS Nishida 2.9 (0.4)2.6 (0.2)3.2 (0.2)4.1 (0.2)4.5 (0.3)6.6 (0.3)1.1 (0.1)15/15

Δ fopt
f15, 40-D		 1e1
1.9e5		 1e0
7.9e5		 1e-1
1.0e6		 1e-2
1.1e6		 1e-3
1.1e6		 1e-5
1.1e6		 1e-7
1.1e6		 #succ
15/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞3e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞3e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞8e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞8e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞8e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞8e50/15
CMAES-APOP-Var1 Nguyen 1.7 (0.2)0.41 (0.1)↑00.31 (0.0)↑00.31 (0.0)↑00.31 (0.0)↑00.31 (0.0)↑00.31 (0.0)↑015/15
CMAES-APOP-Var2 Nguyen 1.7 (0.1)0.42 (0.0)↑00.32 (0.0)↑00.32 (0.0)↑00.32 (0.0)↑00.32 (0.0)↑00.32 (0.0)↑015/15
CMAES-APOP-Var3 Nguyen 1.6 (0.4)0.38 (0.1)↑00.29 (0.1)↑00.29 (0.1)↑00.29 (0.1)↑00.29 (0.1)↑00.28 (0.1)↑015/15
DE-best Vodopija ∞∞∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida 3.3 (1)0.80 (0.3)0.61 (0.2)↑00.60 (0.2)↑00.60 (0.2)↑00.59 (0.2)↑00.57 (0.2)↑015/15
PSA-CMA-ESwRS Nishida 2.0 (0.1)0.48 (0.0)↑00.37 (0.0)↑00.36 (0.0)↑00.36 (0.0)↑00.36 (0.0)↑00.35 (0.0)↑015/15

Δ fopt
f16, 40-D		 1e1
5244		 1e0
72122		 1e-1
3.2e5		 1e-2
7.1e5		 1e-3
1.4e6		 1e-5
2.0e6		 1e-7
2.0e6		 #succ
15/15
uBBDE-N Vodopija 5618 (5054)∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija 180 (176)∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 763 (536)∞∞∞∞∞∞2e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-N Vodopija 825 (708)∞∞∞∞∞∞2e60/15
BBDE-best Vodopija 230 (347)∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 1342 (1373)∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞5e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞1e60/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞2e60/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞1e60/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞1e60/15
CMAES-APOP-Var1 Nguyen 1.0 (0.4)44 (25)10 (6)4.5 (3)2.4 (2)1.8 (1)1.9 (1)15/15
CMAES-APOP-Var2 Nguyen 0.95 (0.3)35 (14)7.9 (3)3.6 (1)1.8 (0.7)1.3 (0.5)1.3 (0.5)15/15
CMAES-APOP-Var3 Nguyen 20 (0.3)36 (17)8.2 (4)3.8 (2)1.9 (0.9)1.5 (0.6)1.6 (0.6)15/15
DE-best Vodopija ∞∞∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida ∞∞∞∞∞∞∞4e70/15
PSA-CMA-ESwRS Nishida 1.1 (0.3)27 (6)6.2 (1)2.8 (0.6)1.4 (0.3)1.1 (0.2)1.1 (0.2)15/15

Δ fopt
f17, 40-D		 1e1
399		 1e0
4220		 1e-1
14158		 1e-2
34948		 1e-3
51958		 1e-5
1.3e5		 1e-7
2.7e5		 #succ
14/15
uBBDE-N Vodopija 243 (177)∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija 5.2 (4)∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 14 (4)273 (451)∞∞∞∞∞2e60/15
uBBDE Vodopija 701 (322)∞∞∞∞∞∞2e60/15
uDE-best Vodopija 62 (24)42 (12)40 (13)84 (105)554 (799)∞∞2e60/15
uDE-rand Vodopija 1475 (332)∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 47 (18)28 (4)20 (2)14 (2)18 (5)109 (123)∞2e60/15
BBDE-N Vodopija 38 (27)∞∞∞∞∞∞2e60/15
BBDE-best Vodopija 3.2 (1)∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 27 (25)7005 (6399)∞∞∞∞∞2e60/15
BBDE Vodopija 66 (36)∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 755 (829)∞∞∞∞∞∞1e60/15
BFGS-P-09 Blelly 715 (1187)∞∞∞∞∞∞1e60/15
BFGS-P-Instances Blelly 361 (561)∞∞∞∞∞∞1e60/15
BFGS-P-StPt Blelly 49 (135)∞∞∞∞∞∞2e60/15
BFGS-P-range Blelly 173 (194)∞∞∞∞∞∞2e60/15
CMAES-APOP-Var1 Nguyen 0.58 (0.3)↑10.58 (0.2)↑15.5 (4)3.5 (0.9)2.8 (0.4)1.8 (0.8)1.0 (0.4)15/15
CMAES-APOP-Var2 Nguyen 0.56 (0.2)↑10.49 (0.2)↑02.5 (4)3.6 (0.7)3.0 (0.4)1.7 (0.2)0.99 (0.1)15/15
CMAES-APOP-Var3 Nguyen 0.65 (0.5)0.54 (0.2)↑04.4 (4)4.1 (0.6)3.1 (0.6)1.7 (0.4)0.94 (0.1)15/15
DE-best Vodopija 13 (4)32 (8)26 (6)49 (74)270 (308)∞∞2e60/15
DE-rand Vodopija 43 (19)∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 12 (5)25 (5)19 (3)14 (2)17 (4)220 (154)∞2e60/15
PSA-CMA-ES Nishida 17 (11)13 (4)5.4 (1)2.7 (0.5)★2.3 (0.3)★1.6 (0.2)0.88 (0.1)↑115/15
PSA-CMA-ESwRS Nishida 1.3 (0.5)0.55 (0.1)↑02.4 (4)3.9 (0.7)3.1 (0.3)1.8 (0.3)1.0 (0.1)15/15

Δ fopt
f18, 40-D		 1e1
1442		 1e0
16998		 1e-1
47068		 1e-2
1.3e5		 1e-3
1.9e5		 1e-5
6.7e5		 1e-7
9.5e5		 #succ
15/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 23 (6)∞∞∞∞∞∞2e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija 61 (23)27 (9)142 (181)∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 56 (17)22 (5)18 (5)36 (24)∞∞∞2e60/15
BBDE-N Vodopija 6593 (8995)∞∞∞∞∞∞2e60/15
BBDE-best Vodopija 1.1e4 (2e4)∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 525 (259)∞∞∞∞∞∞2e60/15
BBDE Vodopija 3338 (2177)∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞1e60/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞2e60/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞2e60/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞2e60/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞2e60/15
CMAES-APOP-Var1 Nguyen 0.84 (0.2)1.1 (3)2.7 (0.4)1.2 (0.2)0.92 (0.1)1.6 (2)2.0 (4)13/15
CMAES-APOP-Var2 Nguyen 0.89 (0.3)0.72 (0.2)↑12.6 (0.6)1.3 (0.2)1.0 (0.1)0.72 (0.7)0.54 (0.5)15/15
CMAES-APOP-Var3 Nguyen 0.85 (0.2)1.9 (3)2.9 (0.3)1.3 (0.1)0.96 (0.1)1.2 (2)2.3 (4)13/15
DE-best Vodopija 49 (10)22 (9)55 (75)∞∞∞∞2e60/15
DE-rand Vodopija 2472 (2813)∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 45 (14)21 (7)21 (11)43 (51)∞∞∞2e60/15
PSA-CMA-ES Nishida 23 (7)3.4 (0.6)1.8 (0.4)★20.88 (0.1)★3↑10.72 (0.1)★2↑01.0 (0.2)0.86 (0.2)↑115/15
PSA-CMA-ESwRS Nishida 0.98 (0.2)0.89 (2)2.6 (0.5)1.2 (0.2)0.92 (0.1)0.57 (0.5)0.46 (0.3)↑115/15

Δ fopt
f19, 40-D		 1e1
1		 1e0
1		 1e-1
1.4e6		 1e-2
1.7e7		 1e-3
2.6e7		 1e-5
4.5e7		 1e-7
4.5e7		 #succ
8/15
uBBDE-N Vodopija 7.9e4 (3e4)∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija 1603 (611)∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 5947 (1584)∞∞∞∞∞∞2e60/15
uBBDE Vodopija 2.4e5 (7e4)∞∞∞∞∞∞2e60/15
uDE-best Vodopija 2.3e4 (8689)∞∞∞∞∞∞2e60/15
uDE-rand Vodopija 5.0e5 (1e5)∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 1.9e4 (9619)∞∞∞∞∞∞2e60/15
BBDE-N Vodopija 3.4e4 (1e4)∞∞∞∞∞∞2e60/15
BBDE-best Vodopija 1662 (704)∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 2.5e4 (1e4)∞∞∞∞∞∞2e60/15
BBDE Vodopija 5.7e4 (3e4)∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞7e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞1e60/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞1e60/15
BFGS-P-StPt Blelly 1 (0)1 (0)4.5e-4 (3e-5)★4↑0∞∞∞∞1e60/15
BFGS-P-range Blelly 4.3e5 (6e5)∞∞∞∞∞∞1e60/15
CMAES-APOP-Var1 Nguyen 1 (0)1 (0)0.79 (0.2)↑00.15 (0.2)↑10.19 (0.2)0.25 (0.3)0.25 (0.3)7/15
CMAES-APOP-Var2 Nguyen 1 (0)1 (0)0.81 (0.2)↑00.22 (0.2)0.30 (0.4)0.32 (0.4)0.32 (0.4)6/15
CMAES-APOP-Var3 Nguyen 1 (0)1 (0)0.80 (0.1)↑10.28 (0.3)0.32 (0.4)0.34 (0.5)0.34 (0.4)6/15
DE-best Vodopija 1.1e4 (4779)∞∞∞∞∞∞2e60/15
DE-rand Vodopija 9.6e4 (3e4)∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 1.1e4 (4341)∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida 3513 (1009)4.8e6 (6e5)3.5 (0.4)0.29 (0.0)↑00.23 (0.1)↑00.13 (0.0)↑00.13 (0.0)↑015/15
PSA-CMA-ESwRS Nishida 482 (78)5.9e5 (7e5)1.1 (0.1)0.27 (0.2)↑00.34 (0.3)↑00.73 (1)0.73 (0.6)11/15

Δ fopt
f20, 40-D		 1e1
222		 1e0
1.3e5		 1e-1
1.6e8		 1e-2
∞		 1e-3
∞		 1e-5
∞		 1e-7
∞		 #succ
0/15
uBBDE-N Vodopija 766 (68)∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija 20 (5)∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 69 (7)∞∞∞∞∞∞2e60/15
uBBDE Vodopija 2813 (483)∞∞∞∞∞∞2e60/15
uDE-best Vodopija 168 (32)4.8 (2)∞∞∞∞∞3e60/15
uDE-rand Vodopija 4779 (698)∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 159 (26)54 (35)∞∞∞∞∞2e60/15
BBDE-N Vodopija 507 (55)∞∞∞∞∞∞2e60/15
BBDE-best Vodopija 18 (3)∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 657 (151)∞∞∞∞∞∞2e60/15
BBDE Vodopija 1326 (285)∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 1.7 (0.2)★4∞∞∞∞∞∞8e50/15
BFGS-P-09 Blelly 13 (1)80 (114)∞∞∞∞∞1e60/15
BFGS-P-Instances Blelly 13 (1)156 (97)∞∞∞∞∞1e60/15
BFGS-P-StPt Blelly 10 (2)158 (137)∞∞∞∞∞1e60/15
BFGS-P-range Blelly 13 (1)∞∞∞∞∞∞1e60/15
CMAES-APOP-Var1 Nguyen 3.2 (0.5)37 (6)0.14 (0.1)∞∞∞∞8e60/15
CMAES-APOP-Var2 Nguyen 3.1 (0.7)45 (9)0.12 (0.1)∞∞∞∞8e60/15
CMAES-APOP-Var3 Nguyen 3.4 (0.4)55 (6)0.74 (0.7)∞∞∞∞8e60/15
DE-best Vodopija 125 (32)5.1 (3)∞∞∞∞∞3e60/15
DE-rand Vodopija 2293 (567)∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 114 (30)55 (57)∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida 48 (25)4475 (3983)∞∞∞∞∞4e70/15
PSA-CMA-ESwRS Nishida 4.3 (0.7)26 (2)1.1 (0.8)∞∞∞∞4e70/15

Δ fopt
f21, 40-D		 1e1
1044		 1e0
21144		 1e-1
1.0e5		 1e-2
1.0e5		 1e-3
1.0e5		 1e-5
1.0e5		 1e-7
1.0e5		 #succ
26/30
uBBDE-N Vodopija 254 (62)62 (49)45 (40)295 (277)∞∞∞2e60/15
uBBDE-best Vodopija 61 (135)83 (87)96 (93)∞∞∞∞2e60/15
uBBDE-ttb Vodopija 128 (380)76 (147)25 (36)25 (25)25 (38)29 (28)173 (158)1/15
uBBDE Vodopija 1844 (1342)1415 (1325)∞∞∞∞∞2e60/15
uDE-best Vodopija 53 (11)50 (69)19 (22)19 (14)20 (29)20 (21)20 (16)10/15
uDE-rand Vodopija 2651 (2155)∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 93 (25)83 (124)22 (19)22 (24)22 (29)22 (45)23 (28)9/15
BBDE-N Vodopija 169 (53)43 (23)23 (13)93 (84)143 (140)294 (309)∞2e60/15
BBDE-best Vodopija 79 (113)64 (69)46 (66)∞∞∞∞2e60/15
BBDE-ttb Vodopija 220 (99)43 (26)11 (6)13 (5)14 (5)25 (25)55 (88)4/15
BBDE Vodopija 821 (510)675 (1031)292 (482)294 (352)∞∞∞2e60/15
BFGS-M-17 Blelly 1.2 (1)2.6 (2)1.7 (2)1.7 (2)1.7 (2)7.4 (6)∞3e50/15
BFGS-P-09 Blelly 2.9 (4)2.1 (3)1.0 (1.0)1.0 (1)1.0 (1)2.4 (2)∞2e50/15
BFGS-P-Instances Blelly 1.9 (2)1.7 (3)1.00 (1)1.00 (1)1.00 (1)2.8 (3)∞2e50/15
BFGS-P-StPt Blelly 0.57 (0.6)0.84 (1)0.94 (1)0.94 (1)0.94 (2)3.2 (4)∞2e50/15
BFGS-P-range Blelly 2.0 (3)0.94 (1)0.61 (0.8)0.61 (0.8)0.61 (0.7)2.0 (1)∞2e50/15
CMAES-APOP-Var1 Nguyen 399 (23)441 (473)167 (199)167 (246)166 (225)165 (204)165 (197)5/15
CMAES-APOP-Var2 Nguyen 111 (23)297 (362)121 (179)121 (241)120 (121)120 (118)119 (158)6/15
CMAES-APOP-Var3 Nguyen 246 (26)447 (586)163 (200)163 (186)162 (237)161 (181)160 (195)5/15
DE-best Vodopija 172 (161)48 (57)16 (24)16 (16)16 (21)16 (18)17 (15)11/15
DE-rand Vodopija 711 (263)1385 (1395)∞∞∞∞∞2e60/15
DE-ttb Vodopija 49 (11)35 (51)11 (14)11 (17)11 (14)12 (14)12 (18)11/15
PSA-CMA-ES Nishida 27 (16)655 (980)406 (608)405 (527)403 (497)401 (719)399 (585)8/15
PSA-CMA-ESwRS Nishida 8.4 (18)105 (151)50 (78)50 (78)50 (78)49 (77)49 (77)15/15

Δ fopt
f22, 40-D		 1e1
3090		 1e0
35442		 1e-1
6.5e5		 1e-2
6.5e5		 1e-3
6.5e5		 1e-5
6.5e5		 1e-7
6.5e5		 #succ
8/30
uBBDE-N Vodopija 96 (37)63 (45)∞∞∞∞∞2e60/15
uBBDE-best Vodopija 70 (143)∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 197 (377)140 (184)∞∞∞∞∞2e60/15
uBBDE Vodopija 514 (410)∞∞∞∞∞∞2e60/15
uDE-best Vodopija 107 (196)61 (74)∞∞∞∞∞2e60/15
uDE-rand Vodopija 653 (459)204 (225)∞∞∞∞∞2e60/15
uDE-ttb Vodopija 82 (108)46 (65)∞∞∞∞∞2e60/15
BBDE-N Vodopija 74 (33)58 (34)∞∞∞∞∞2e60/15
BBDE-best Vodopija 94 (157)144 (124)∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 102 (97)50 (50)∞∞∞∞∞2e60/15
BBDE Vodopija 315 (237)275 (256)∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 1.0 (1)6.6 (6)6.7 (9)6.7 (6)6.7 (6)∞∞3e50/15
BFGS-P-09 Blelly 1.4 (2)0.73 (0.9)∞∞∞∞∞2e50/15
BFGS-P-Instances Blelly 2.4 (4)4.6 (4)∞∞∞∞∞2e50/15
BFGS-P-StPt Blelly 1.1 (2)1.1 (3)∞∞∞∞∞2e50/15
BFGS-P-range Blelly 2.7 (3)1.8 (3)∞∞∞∞∞2e50/15
CMAES-APOP-Var1 Nguyen 447 (1295)259 (283)∞∞∞∞∞8e60/15
CMAES-APOP-Var2 Nguyen 0.21 (0)↑0∞∞∞∞∞∞8e60/1
CMAES-APOP-Var3 Nguyen 418 (1295)265 (395)∞∞∞∞∞8e60/15
DE-best Vodopija 43 (49)55 (58)∞∞∞∞∞2e60/15
DE-rand Vodopija 410 (520)148 (197)∞∞∞∞∞2e60/15
DE-ttb Vodopija 67 (51)56 (63)∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida 217 (5)992 (1132)∞∞∞∞∞4e70/15
PSA-CMA-ESwRS Nishida 84 (64)570 (749)419 (432)419 (595)418 (548)417 (592)416 (489)2/15

Δ fopt
f23, 40-D		 1e1
7.0		 1e0
11925		 1e-1
75453		 1e-2
6.6e5		 1e-3
1.3e6		 1e-5
3.2e6		 1e-7
3.4e6		 #succ
15/15
uBBDE-N Vodopija 1.5 (1)∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija 1.8 (2)45 (68)∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija 1.2 (1)∞∞∞∞∞∞2e60/15
uBBDE Vodopija 1.2 (1)∞∞∞∞∞∞2e60/15
uDE-best Vodopija 0.83 (0.6)∞∞∞∞∞∞2e60/15
uDE-rand Vodopija 1.6 (1)∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija 1.2 (0.8)∞∞∞∞∞∞2e60/15
BBDE-N Vodopija 1.5 (1)∞∞∞∞∞∞2e60/15
BBDE-best Vodopija 1.3 (0.9)∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija 1.1 (1)∞∞∞∞∞∞2e60/15
BBDE Vodopija 1.4 (2)∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly 126 (129)∞∞∞∞∞∞2e50/15
BFGS-P-09 Blelly 393 (244)176 (172)∞∞∞∞∞2e60/15
BFGS-P-Instances Blelly 331 (270)300 (370)∞∞∞∞∞2e60/15
BFGS-P-StPt Blelly 40 (36)77 (146)∞∞∞∞∞2e60/15
BFGS-P-range Blelly 430 (159)80 (97)∞∞∞∞∞2e60/15
CMAES-APOP-Var1 Nguyen 1.3 (1)172 (337)∞∞∞∞∞8e60/15
CMAES-APOP-Var2 Nguyen 1.2 (2)4.5 (3)∞∞∞∞∞8e60/15
CMAES-APOP-Var3 Nguyen 0.84 (0.7)173 (336)1486 (1406)∞∞∞∞8e60/15
DE-best Vodopija 1.4 (1)∞∞∞∞∞∞2e60/15
DE-rand Vodopija 1.1 (1)∞∞∞∞∞∞2e60/15
DE-ttb Vodopija 1.6 (2)∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida 161 (245)∞∞∞∞∞∞4e70/15
PSA-CMA-ESwRS Nishida 10 (15)844 (1683)2295 (2249)438 (590)∞∞∞4e70/15

Δ fopt
f24, 40-D		 1e1
5.8e6		 1e0
9.8e7		 1e-1
3.0e8		 1e-2
3.0e8		 1e-3
3.0e8		 1e-5
3.0e8		 1e-7
3.0e8		 #succ
1/15
uBBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
uBBDE Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
uDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-N Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-best Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
BBDE Vodopija ∞∞∞∞∞∞∞2e60/15
BFGS-M-17 Blelly ∞∞∞∞∞∞∞3e50/15
BFGS-P-09 Blelly ∞∞∞∞∞∞∞6e50/15
BFGS-P-Instances Blelly ∞∞∞∞∞∞∞6e50/15
BFGS-P-StPt Blelly ∞∞∞∞∞∞∞6e50/15
BFGS-P-range Blelly ∞∞∞∞∞∞∞6e50/15
CMAES-APOP-Var1 Nguyen ∞∞∞∞∞∞∞8e60/15
CMAES-APOP-Var2 Nguyen ∞∞∞∞∞∞∞8e60/15
CMAES-APOP-Var3 Nguyen ∞∞∞∞∞∞∞8e60/15
DE-best Vodopija ∞∞∞∞∞∞∞2e60/15
DE-rand Vodopija ∞∞∞∞∞∞∞2e60/15
DE-ttb Vodopija ∞∞∞∞∞∞∞2e60/15
PSA-CMA-ES Nishida ∞∞∞∞∞∞∞4e70/15
PSA-CMA-ESwRS Nishida 1.5 (2)0.11 (0.1)↑02.0 (1)2.0 (2)2.0 (2)2.0 (2)2.0 (2)1/15

Expected runtime (ERT in number of f-evaluations) divided by the respective best ERT measured during BBOB-2009 (when finite) in different dimensions. This ERT ratio and, in braces as dispersion measure, the half difference between 10 and 90%-tile of (bootstrapped) run lengths appear for each algorithm and target, the corresponding reference ERT  in the first row. The different target ∆f-values are shown in the top row. #succ is the number of trials that reached the (final) target fopt+ 10−8. The median number of conducted function evaluations is additionally given in italics, if the target in the last column was never reached. The best entry is marked by a star when the largest p-value of pairwise rank-sum tests with the other algorithms either obeys 0.01 < p ≤ 0.05 or 10−k−1 < p ≤ 10−k when the star is followed by the number k, with Bonferroni correction by the number of functions (24). A ↑ signifies the number of trials that were worse than the ERT of the best algorithm from BBOB 2009 shown only when less than 10 percent were worse and the ERT was better. Best results are printed in bold.