Overview page

Table showing the ERT in number of evaluations divided by the best ERT of the reference algorithm

Last dimension | Dimension = 2 | Next dimension

Δ fopt
f1, 2-D		 1e1
2.0		 1e0
6.0		 1e-1
6.0		 1e-2
6.0		 1e-3
6.0		 1e-5
6.0		 1e-7
6.0		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.3 (2)3.7 (4)25 (20)370 (376)3217 (3677)2.6e5 (3e5)∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.4 (1)3.9 (3)39 (38)597 (718)3271 (4850)5.1e5 (4e5)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1.7 (0.8)4.6 (5)36 (34)700 (699)6477 (7945)3.8e5 (4e5)2.3e7 (1e7)1/15
CMAES-APOP Nguyen 2.5 (4)2.9 (4)7.4 (5)13 (7)18 (6)26 (8)38 (8)15/15
DTS-CMA-ES Pitra 1.7 (2)2.1 (2)3.5 (1)4.2 (0.8)5.4 (0.8)★37.2 (0.8)★48.9 (1)★415/15
EvoSpace-PSO-GA Garcia-Valdez 55 (49)25 (8)28 (16)99 (122)398 (354)983 (585)1524 (114)15/15
KL-BIPOP-CMA-ES Yamaguchi 4.5 (7)4.6 (2)8.6 (3)14 (7)19 (6)30 (7)40 (6)15/15
KL-IPOP-CMA-ES Yamaguchi 3.4 (5)3.6 (3)8.0 (5)14 (7)18 (8)31 (6)40 (7)15/15
KL-Restart-CMA-ES Yamaguchi 10 (12)10 (10)19 (18)37 (11)49 (11)75 (16)102 (16)15/15
Ord-H-DTS-CMA-ES Pitra 2.3 (3)2.4 (2)3.9 (2)7.2 (4)12 (6)19 (9)37 (22)9/15
Ord-N-DTS-CMA-ES Pitra 2.4 (3)2.2 (1)3.9 (1)6.0 (1)8.5 (4)17 (7)30 (20)11/15
Ord-Q-DTS-CMA-ES Pitra 2.2 (3)2.7 (2)4.5 (2)6.4 (2)10 (3)18 (7)31 (23)8/15
SSEABC Aydin 1.5 (2)6.6 (6)13 (7)20 (3)25 (5)36 (3)45 (4)15/15

Δ fopt
f2, 2-D		 1e1
16		 1e0
19		 1e-1
25		 1e-2
25		 1e-3
26		 1e-5
28		 1e-7
29		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 172 (147)968 (1589)1.1e4 (1e4)5.7e4 (4e4)6.6e5 (7e5)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 201 (173)1711 (2341)7846 (1e4)8.8e4 (8e4)1.1e6 (1e6)1.0e7 (1e7)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 276 (233)1416 (1809)1.1e4 (1e4)1.3e5 (1e5)7.4e5 (1e6)∞∞2e70/15
CMAES-APOP Nguyen 13 (10)19 (9)17 (3)19 (2)20 (3)20 (2)22 (3)15/15
DTS-CMA-ES Pitra 2.8 (1)3.0 (0.5)★22.6 (0.4)★42.8 (0.4)★42.9 (0.4)★43.1 (0.4)★43.4 (0.5)★415/15
EvoSpace-PSO-GA Garcia-Valdez 283 (197)331 (194)321 (50)349 (26)364 (59)433 (76)470 (65)15/15
KL-BIPOP-CMA-ES Yamaguchi 18 (12)21 (9)19 (4)20 (4)20 (4)21 (3)22 (3)15/15
KL-IPOP-CMA-ES Yamaguchi 20 (13)21 (10)19 (5)21 (5)21 (5)22 (5)23 (5)15/15
KL-Restart-CMA-ES Yamaguchi 18 (8)24 (5)22 (3)25 (4)28 (4)31 (3)36 (3)15/15
Ord-H-DTS-CMA-ES Pitra 10 (10)27 (26)38 (44)60 (58)57 (60)∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 7.4 (11)22 (21)39 (38)59 (62)114 (128)∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 11 (16)17 (11)37 (24)59 (44)57 (34)∞∞2010/15
SSEABC Aydin 17 (10)22 (10)19 (8)22 (3)22 (3)23 (3)25 (2)15/15

Δ fopt
f3, 2-D		 1e1
15		 1e0
271		 1e-1
445		 1e-2
446		 1e-3
450		 1e-5
454		 1e-7
464		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 7.3 (6)47 (89)410 (642)2156 (2141)1.7e4 (2e4)6.4e5 (7e5)∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 7.9 (13)40 (44)323 (369)3104 (3163)3.1e4 (3e4)∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 6.0 (8)55 (46)604 (768)4464 (3855)3.7e4 (4e4)6.3e5 (7e5)∞2e70/15
CMAES-APOP Nguyen 2.8 (2)2.4 (2)5.0 (4)8.3 (7)9.4 (8)11 (10)11 (10)15/15
DTS-CMA-ES Pitra 2.5 (1)2.1 (2)14 (18)14 (12)14 (11)14 (15)14 (15)4/15
EvoSpace-PSO-GA Garcia-Valdez 12 (3)14 (16)13 (10)19 (6)22 (4)26 (5)31 (7)15/15
KL-BIPOP-CMA-ES Yamaguchi 3.1 (2)3.4 (4)8.1 (9)13 (12)13 (12)13 (13)13 (13)15/15
KL-IPOP-CMA-ES Yamaguchi 2.9 (4)2.5 (3)4.8 (3)5.8 (6)6.0 (7)6.6 (7)6.8 (7)15/15
KL-Restart-CMA-ES Yamaguchi 5.4 (5)2.6 (2)5.1 (6)5.4 (6)5.6 (6)5.9 (6)6.1 (6)15/15
Ord-H-DTS-CMA-ES Pitra 2.7 (2)2.4 (2)∞∞∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 3.7 (5)2.4 (3)6.4 (6)6.4 (9)∞∞∞2020/15
Ord-Q-DTS-CMA-ES Pitra 2.8 (2)3.4 (5)∞∞∞∞∞2010/15
SSEABC Aydin 4.9 (3)1.8 (2)5.5 (6)8.4 (9)9.1 (9)14 (12)16 (12)14/15

Δ fopt
f4, 2-D		 1e1
22		 1e0
344		 1e-1
459		 1e-2
496		 1e-3
523		 1e-5
544		 1e-7
566		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 7.8 (12)51 (47)424 (418)4970 (7133)3.6e4 (6e4)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 10 (9)71 (121)560 (643)6199 (7033)6.0e4 (8e4)∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 11 (11)104 (125)992 (896)7237 (7345)3.7e4 (4e4)5.3e5 (6e5)∞2e70/15
CMAES-APOP Nguyen 2.2 (1)12 (11)62 (70)98 (68)98 (67)101 (58)101 (56)15/15
DTS-CMA-ES Pitra 1.4 (0.5)3.3 (5)4.9 (6)6.3 (9)7.3 (8)7.1 (9)6.9 (12)5/15
EvoSpace-PSO-GA Garcia-Valdez 7.3 (3)10 (11)15 (8)19 (3)28 (5)33 (7)36 (7)14/15
KL-BIPOP-CMA-ES Yamaguchi 2.1 (1)2.7 (4)36 (50)48 (59)48 (63)48 (67)47 (68)15/15
KL-IPOP-CMA-ES Yamaguchi 3.5 (3)6.9 (7)54 (67)118 (187)274 (210)284 (230)285 (226)15/15
KL-Restart-CMA-ES Yamaguchi 4.4 (4)6.0 (4)49 (50)57 (75)54 (71)53 (68)51 (66)15/15
Ord-H-DTS-CMA-ES Pitra 1.7 (1)∞∞∞∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 2.2 (2)8.6 (10)∞∞∞∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 2.8 (5)8.7 (11)∞∞∞∞∞2010/15
SSEABC Aydin 3.3 (2)3.8 (4)18 (23)23 (33)36 (37)40 (51)49 (54)6/15

Δ fopt
f5, 2-D		 1e1
4.0		 1e0
4.0		 1e-1
4.0		 1e-2
4.0		 1e-3
4.0		 1e-5
4.0		 1e-7
4.0		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 21 (21)∞∞∞∞∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 3.3 (6)676 (664)4.2e4 (7e4)2.6e6 (2e6)∞∞∞2e70/15
CMAES-APOP Nguyen 3.8 (1)6.8 (4)7.4 (4)7.4 (4)7.4 (4)7.4 (4)7.4 (4)15/15
DTS-CMA-ES Pitra 2.5 (2)4.0 (0.6)4.5 (1)4.7 (1)4.7 (1)4.7 (1)4.7 (1)15/15
EvoSpace-PSO-GA Garcia-Valdez 43 (13)66 (38)141 (85)158 (67)158 (67)158 (67)158 (67)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.3 (1)5.3 (4)6.0 (4)6.1 (4)6.1 (4)6.1 (4)6.1 (4)15/15
KL-IPOP-CMA-ES Yamaguchi 3.5 (4)6.0 (4)6.2 (4)6.4 (4)6.4 (4)6.4 (4)6.4 (4)15/15
KL-Restart-CMA-ES Yamaguchi 7.7 (4)14 (5)16 (5)16 (5)16 (5)16 (5)16 (5)15/15
Ord-H-DTS-CMA-ES Pitra 1.9 (2)4.2 (1)4.4 (1)4.4 (1)4.4 (1)4.4 (1)4.4 (1)15/15
Ord-N-DTS-CMA-ES Pitra 2.7 (2)4.7 (2)5.0 (2)5.0 (2)5.0 (2)5.0 (2)5.0 (2)15/15
Ord-Q-DTS-CMA-ES Pitra 2.6 (2)4.0 (0.8)4.1 (0.8)4.1 (0.8)4.1 (0.8)4.1 (0.8)4.1 (0.8)15/15
SSEABC Aydin 2.8 (3)8.4 (3)9.2 (3)9.2 (3)9.2 (3)9.2 (3)9.2 (3)15/15

Δ fopt
f6, 2-D		 1e1
13		 1e0
23		 1e-1
41		 1e-2
54		 1e-3
67		 1e-5
95		 1e-7
124		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.9 (3)12 (11)69 (87)501 (652)8247 (9174)6.8e5 (1e6)∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.7 (2)15 (16)94 (92)610 (571)5395 (4915)5.5e5 (6e5)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2.8 (2)16 (9)98 (140)1104 (1349)1.7e4 (2e4)1.5e6 (1e6)∞2e70/15
CMAES-APOP Nguyen 1.5 (1)2.6 (2)3.2 (1)3.5 (1)3.6 (1)3.9 (1)3.8 (0.8)15/15
DTS-CMA-ES Pitra 1.5 (1)1.7 (1)2.3 (2)2.7 (1)2.7 (1)2.6 (1)2.6 (0.9)15/15
EvoSpace-PSO-GA Garcia-Valdez 11 (5)46 (99)66 (63)98 (52)112 (20)102 (31)128 (25)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.8 (3)4.1 (3)3.7 (2)4.0 (1)4.4 (1)4.2 (0.7)4.2 (0.6)15/15
KL-IPOP-CMA-ES Yamaguchi 2.8 (3)3.7 (3)3.5 (1)4.1 (2)4.4 (1)4.4 (1)4.5 (0.8)15/15
KL-Restart-CMA-ES Yamaguchi 3.8 (5)7.9 (6)9.4 (2)9.5 (3)10 (3)11 (2)12 (1.0)15/15
Ord-H-DTS-CMA-ES Pitra 1.8 (1)7.0 (8)36 (38)55 (33)∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 1.2 (1)6.0 (6)12 (12)55 (62)∞∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 2.0 (2)5.9 (8)6.8 (4)∞∞∞∞2010/15
SSEABC Aydin 3.5 (4)5.4 (3)4.4 (2)4.7 (1.0)4.8 (1)4.9 (0.9)5.0 (0.8)15/15

Δ fopt
f7, 2-D		 1e1
3.0		 1e0
21		 1e-1
60		 1e-2
193		 1e-3
217		 1e-5
217		 1e-7
241		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 6.9 (3)4.4 (5)20 (20)17 (23)43 (46)43 (46)459 (547)15/15
RANDOMSEARCH-4p5-1e7D Brockhoff 3.6 (3)2.6 (3)27 (33)36 (30)202 (245)202 (245)718 (618)15/15
RANDOMSEARCH-5-1e7D Brockhoff 5.2 (7)2.7 (2)32 (27)62 (90)207 (298)207 (298)672 (1225)15/15
CMAES-APOP Nguyen 4.2 (4)2.8 (4)2.5 (3)1.4 (0.9)1.6 (0.9)1.6 (0.9)1.8 (1)15/15
DTS-CMA-ES Pitra 4.7 (3)1.2 (0.2)1.2 (2)0.62 (1)0.72 (1.0)0.72 (1.0)0.81 (1)14/15
EvoSpace-PSO-GA Garcia-Valdez 29 (16)5.0 (2)46 (46)20 (18)23 (16)23 (16)26 (12)15/15
KL-BIPOP-CMA-ES Yamaguchi 3.6 (2)2.9 (3)3.5 (4)1.5 (2)1.5 (2)1.5 (2)1.4 (1)15/15
KL-IPOP-CMA-ES Yamaguchi 2.7 (3)3.2 (4)2.9 (3)1.3 (1)1.3 (1)1.3 (1)1.2 (1.0)15/15
KL-Restart-CMA-ES Yamaguchi 7.2 (9)3.7 (4)3.4 (2)1.4 (0.6)1.4 (0.6)1.4 (0.6)1.2 (0.5)15/15
Ord-H-DTS-CMA-ES Pitra 4.4 (4)2.7 (3)2.1 (3)1.0 (0.9)1.2 (0.9)1.2 (1)1.8 (2)1/15
Ord-N-DTS-CMA-ES Pitra 6.9 (7)3.6 (4)3.9 (4)1.7 (1)1.9 (2)1.9 (2)2.1 (2)4/15
Ord-Q-DTS-CMA-ES Pitra 4.6 (3)2.7 (2)2.3 (2)1.1 (1)2.4 (2)2.4 (2)2.8 (4)2/15
SSEABC Aydin 4.3 (6)4.6 (6)3.6 (3)1.4 (1)1.4 (0.9)1.4 (0.9)1.4 (0.8)15/15

Δ fopt
f8, 2-D		 1e1
5.0		 1e0
12		 1e-1
37		 1e-2
46		 1e-3
86		 1e-5
94		 1e-7
112		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 5.7 (4)24 (26)66 (83)512 (627)2789 (3228)1.9e5 (2e5)1.3e6 (1e6)0/15
RANDOMSEARCH-4p5-1e7D Brockhoff 5.9 (5)23 (34)60 (73)627 (710)3339 (2530)3.2e5 (3e5)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 5.5 (4)15 (21)59 (79)625 (721)2184 (2269)3.6e5 (5e5)∞2e70/15
CMAES-APOP Nguyen 4.4 (4)6.3 (5)5.8 (3)6.4 (3)4.1 (1)4.6 (1)4.4 (1)15/15
DTS-CMA-ES Pitra 5.0 (2)3.6 (2)2.2 (0.9)2.1 (0.7)★21.2 (0.4)★21.3 (0.4)★31.2 (0.3)★315/15
EvoSpace-PSO-GA Garcia-Valdez 27 (11)67 (89)98 (90)150 (76)104 (25)157 (53)196 (41)15/15
KL-BIPOP-CMA-ES Yamaguchi 4.5 (3)5.3 (4)7.6 (3)8.2 (4)5.0 (2)5.5 (2)5.2 (1)15/15
KL-IPOP-CMA-ES Yamaguchi 5.1 (6)7.8 (13)6.3 (4)8.2 (5)5.3 (2)5.6 (2)5.3 (2)15/15
KL-Restart-CMA-ES Yamaguchi 6.5 (6)12 (6)11 (9)16 (7)10 (4)11 (3)11 (3)15/15
Ord-H-DTS-CMA-ES Pitra 6.4 (3)12 (10)25 (23)65 (50)∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 6.0 (2)8.6 (9)17 (18)31 (40)17 (29)32 (37)∞2010/15
Ord-Q-DTS-CMA-ES Pitra 4.0 (3)8.6 (10)8.5 (8)32 (34)34 (36)31 (43)27 (26)1/15
SSEABC Aydin 10 (7)21 (29)11 (12)12 (10)7.0 (5)7.0 (5)6.6 (4)15/15

Δ fopt
f9, 2-D		 1e1
1		 1e0
18		 1e-1
30		 1e-2
44		 1e-3
68		 1e-5
81		 1e-7
92		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 37 (52)10 (11)65 (78)416 (354)3313 (2774)3.0e5 (3e5)3.2e6 (4e6)0/15
RANDOMSEARCH-4p5-1e7D Brockhoff 36 (38)11 (12)117 (127)738 (1173)3620 (4927)3.6e5 (3e5)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 48 (42)21 (15)115 (138)674 (629)3542 (4000)4.9e5 (4e5)∞2e70/15
CMAES-APOP Nguyen 1 (0)★24.1 (5)7.5 (6)7.6 (4)6.0 (3)5.9 (2)5.9 (2)15/15
DTS-CMA-ES Pitra 19 (18)2.1 (1)2.4 (1)2.1 (0.5)★21.5 (0.4)★31.4 (0.3)★41.4 (0.3)★415/15
EvoSpace-PSO-GA Garcia-Valdez 119 (52)42 (123)97 (110)151 (102)127 (72)159 (19)209 (54)15/15
KL-BIPOP-CMA-ES Yamaguchi 37 (14)7.2 (4)10 (6)8.8 (4)6.7 (2)6.7 (2)6.6 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 21 (18)6.8 (9)11 (8)9.5 (5)6.9 (4)6.8 (3)6.7 (2)15/15
KL-Restart-CMA-ES Yamaguchi 31 (28)7.6 (6)18 (12)17 (11)13 (6)14 (5)14 (3)15/15
Ord-H-DTS-CMA-ES Pitra 29 (17)5.5 (6)17 (24)22 (26)44 (53)∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 18 (12)3.6 (3)12 (15)65 (78)∞∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 14 (13)2.9 (3)12 (7)13 (11)43 (58)37 (37)∞2010/15
SSEABC Aydin 34 (31)5.9 (4)9.1 (8)9.2 (5)7.1 (4)7.0 (2)7.0 (2)15/15

Δ fopt
f10, 2-D		 1e1
30		 1e0
46		 1e-1
54		 1e-2
61		 1e-3
68		 1e-5
82		 1e-7
98		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 89 (84)222 (212)4390 (4546)2.3e4 (2e4)1.4e5 (2e5)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 38 (41)467 (553)4723 (6459)3.8e4 (6e4)5.7e5 (1e6)∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 154 (168)821 (711)5855 (8173)4.4e4 (4e4)3.2e5 (4e5)∞∞2e70/15
CMAES-APOP Nguyen 5.7 (6)6.5 (4)6.8 (3)6.8 (3)6.5 (2)6.5 (0.5)6.0 (0.6)15/15
DTS-CMA-ES Pitra 1.5 (0.3)1.2 (0.3)★31.1 (0.2)★31.1 (0.2)★41.1 (0.2)★41.0 (0.2)★41.0 (0.1)★415/15
EvoSpace-PSO-GA Garcia-Valdez 261 (372)404 (449)714 (622)808 (642)993 (767)1574 (1189)2175 (1974)8/15
KL-BIPOP-CMA-ES Yamaguchi 10 (7)9.5 (3)8.7 (2)8.4 (2)8.1 (2)7.6 (2)6.7 (1)15/15
KL-IPOP-CMA-ES Yamaguchi 9.2 (7)8.6 (4)8.2 (2)8.2 (1)7.8 (1)7.2 (1)6.7 (0.9)15/15
KL-Restart-CMA-ES Yamaguchi 9.2 (4)9.3 (3)10 (2)10 (2)10 (1)10 (1)10 (1)15/15
Ord-H-DTS-CMA-ES Pitra 4.9 (4)11 (14)26 (15)∞∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 6.0 (7)8.5 (8)13 (12)24 (33)22 (20)37 (47)∞2010/15
Ord-Q-DTS-CMA-ES Pitra 5.4 (5)8.3 (9)8.9 (9)12 (13)22 (27)36 (26)∞2010/15
SSEABC Aydin 9.3 (6)9.0 (4)10 (2)9.3 (1)8.9 (0.9)8.2 (0.6)7.6 (0.8)15/15

Δ fopt
f11, 2-D		 1e1
35		 1e0
45		 1e-1
50		 1e-2
62		 1e-3
67		 1e-5
81		 1e-7
97		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 44 (39)296 (305)4792 (4022)4.1e4 (4e4)2.2e5 (2e5)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 65 (68)524 (451)5393 (4948)5.2e4 (6e4)3.7e5 (4e5)3.6e6 (4e6)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 71 (69)795 (974)8644 (7116)6.2e4 (5e4)4.7e5 (5e5)∞∞2e70/15
CMAES-APOP Nguyen 5.8 (5)7.9 (4)8.6 (2)7.6 (2)7.4 (1)6.9 (1)6.3 (1)15/15
DTS-CMA-ES Pitra 1.3 (0.3)1.3 (0.4)★21.3 (0.3)★41.1 (0.2)★41.1 (0.2)★41.1 (0.2)★41.0 (0.1)★415/15
EvoSpace-PSO-GA Garcia-Valdez 164 (146)314 (193)504 (413)681 (360)828 (625)1280 (947)1585 (1321)11/15
KL-BIPOP-CMA-ES Yamaguchi 7.4 (6)8.9 (5)9.2 (2)8.0 (2)7.9 (1)7.3 (1)6.7 (1)15/15
KL-IPOP-CMA-ES Yamaguchi 7.6 (5)8.5 (4)9.3 (1)8.3 (1.0)8.0 (0.9)7.4 (0.7)6.9 (0.7)15/15
KL-Restart-CMA-ES Yamaguchi 7.6 (4)10 (3)11 (3)10 (1)11 (2)11 (1)10 (1)15/15
Ord-H-DTS-CMA-ES Pitra 5.5 (6)21 (15)59 (64)∞∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 11 (20)15 (19)19 (19)24 (22)22 (28)37 (40)31 (38)0/15
Ord-Q-DTS-CMA-ES Pitra 3.0 (3)5.4 (4)7.9 (6)6.5 (5)11 (10)37 (54)∞2010/15
SSEABC Aydin 10 (6)10 (4)10 (1)8.9 (1)8.9 (1)8.1 (1)7.5 (1.0)15/15

Δ fopt
f12, 2-D		 1e1
35		 1e0
46		 1e-1
75		 1e-2
94		 1e-3
105		 1e-5
153		 1e-7
195		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 86 (145)494 (659)2730 (2808)2.1e4 (3e4)1.8e5 (1e5)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 82 (66)512 (525)2931 (3715)2.0e4 (2e4)3.4e5 (5e5)∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 54 (54)613 (649)4572 (4964)1.7e4 (2e4)2.0e5 (2e5)∞∞2e70/15
CMAES-APOP Nguyen 5.9 (5)10 (10)7.5 (7)6.7 (6)7.1 (6)6.1 (5)5.5 (5)15/15
DTS-CMA-ES Pitra 2.1 (1)3.5 (4)3.1 (3)3.0 (3)3.0 (4)2.5 (3)2.2 (2)15/15
EvoSpace-PSO-GA Garcia-Valdez 114 (142)208 (119)213 (204)225 (191)302 (261)334 (269)407 (330)12/15
KL-BIPOP-CMA-ES Yamaguchi 5.2 (4)11 (9)11 (14)11 (15)10 (15)8.8 (12)8.0 (11)15/15
KL-IPOP-CMA-ES Yamaguchi 11 (6)16 (29)13 (27)12 (25)11 (22)9.4 (18)8.2 (16)15/15
KL-Restart-CMA-ES Yamaguchi 11 (4)11 (3)8.3 (3)8.0 (2)8.7 (1)7.5 (2)7.1 (1)15/15
Ord-H-DTS-CMA-ES Pitra 5.3 (5)12 (9)13 (12)∞∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 3.9 (5)11 (11)40 (36)32 (35)∞∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 5.5 (7)19 (18)20 (34)∞∞∞∞2010/15
SSEABC Aydin 6.2 (5)8.0 (4)6.7 (2)6.5 (2)7.0 (2)6.2 (3)6.5 (6)15/15

Δ fopt
f13, 2-D		 1e1
23		 1e0
35		 1e-1
46		 1e-2
60		 1e-3
71		 1e-5
95		 1e-7
122		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 10 (11)279 (358)3926 (3871)1.0e5 (1e5)4.0e6 (6e6)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 13 (15)210 (254)8638 (8527)1.6e5 (2e5)∞∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 12 (19)376 (288)1.3e4 (9812)2.4e5 (2e5)4.0e6 (4e6)∞∞2e70/15
CMAES-APOP Nguyen 3.6 (4)6.2 (4)7.1 (3)6.7 (3)6.6 (2)7.2 (1)7.3 (1)15/15
DTS-CMA-ES Pitra 1.4 (0.3)1.3 (0.3)★21.4 (0.2)★1.2 (0.1)★41.2 (0.2)★41.2 (0.1)★41.2 (0.1)★415/15
EvoSpace-PSO-GA Garcia-Valdez 35 (109)132 (100)198 (72)449 (254)923 (1256)3642 (5221)∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 5.7 (5)6.8 (4)7.0 (2)6.9 (2)7.5 (2)7.4 (2)10 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 4.0 (3)6.1 (4)6.6 (2)6.8 (2)6.9 (2)7.2 (1)7.1 (1.0)15/15
KL-Restart-CMA-ES Yamaguchi 6.4 (4)7.4 (3)10 (2)9.4 (1)10 (0.8)10 (1)10 (0.6)15/15
Ord-H-DTS-CMA-ES Pitra 2.8 (3)3.9 (3)6.0 (4)16 (17)42 (45)∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 1.4 (0.7)5.1 (4)9.3 (9)12 (13)21 (20)∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 2.6 (4)3.7 (2)4.4 (5)4.6 (4)8.1 (6)∞∞2010/15
SSEABC Aydin 5.4 (5)6.3 (4)8.7 (4)8.0 (2)7.9 (0.8)7.5 (0.8)8.2 (1)15/15

Δ fopt
f14, 2-D		 1e1
1		 1e0
7.0		 1e-1
16		 1e-2
24		 1e-3
38		 1e-5
67		 1e-7
90		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 2.5 (2)3.9 (4)27 (24)444 (514)4781 (7128)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2.1 (2)2.7 (3)32 (33)637 (613)8967 (1e4)9.6e5 (9e5)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 3.1 (2)2.8 (4)32 (28)504 (625)6170 (7495)1.3e6 (2e6)∞2e70/15
CMAES-APOP Nguyen 1.7 (2)0.72 (0.9)2.5 (2)3.9 (2)4.6 (2)5.8 (1)6.6 (1)15/15
DTS-CMA-ES Pitra 3.1 (4)2.3 (2)1.9 (0.4)1.7 (0.3)1.5 (0.2)★31.2 (0.1)★41.2 (0.1)★415/15
EvoSpace-PSO-GA Garcia-Valdez 100 (96)20 (8)28 (34)173 (138)224 (18)219 (70)1167 (1297)1/15
KL-BIPOP-CMA-ES Yamaguchi 3.9 (4)2.7 (3)3.5 (3)4.6 (2)5.1 (2)6.4 (1)7.2 (0.7)15/15
KL-IPOP-CMA-ES Yamaguchi 2.3 (2)2.7 (3)3.5 (1)4.8 (2)5.0 (2)6.5 (2)7.1 (2)15/15
KL-Restart-CMA-ES Yamaguchi 3.1 (4)4.6 (6)9.2 (6)11 (4)10 (2)10 (1)10 (1)15/15
Ord-H-DTS-CMA-ES Pitra 4.0 (5)2.4 (0.9)1.9 (0.4)2.8 (1)4.9 (5)22 (23)∞2010/15
Ord-N-DTS-CMA-ES Pitra 3.7 (6)2.0 (2)2.0 (1)2.5 (2)3.8 (3)6.1 (3)∞2010/15
Ord-Q-DTS-CMA-ES Pitra 3.6 (6)2.6 (1)1.6 (0.5)2.7 (1.0)3.7 (3)14 (17)∞2010/15
SSEABC Aydin 3.0 (3)4.7 (5)5.5 (3)6.2 (2)6.5 (4)8.2 (0.8)8.2 (0.5)15/15

Δ fopt
f15, 2-D		 1e1
37		 1e0
291		 1e-1
1033		 1e-2
1066		 1e-3
1113		 1e-5
1231		 1e-7
1412		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.9 (3)50 (58)93 (78)1366 (1156)1.1e4 (1e4)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.7 (2)62 (72)198 (215)1041 (1052)1.0e4 (1e4)2.3e5 (2e5)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 3.4 (5)53 (61)188 (155)2950 (2133)2.8e4 (4e4)∞∞2e70/15
CMAES-APOP Nguyen 1.0 (0.6)1.7 (2)1.6 (1)1.9 (1)2.3 (2)2.3 (2)2.2 (2)15/15
DTS-CMA-ES Pitra 0.93 (0.4)3.2 (4)2.5 (2)3.0 (3)3.5 (4)3.2 (5)2.8 (4)6/15
EvoSpace-PSO-GA Garcia-Valdez 4.1 (1)15 (14)7.9 (3)10 (3)10 (3)13 (4)14 (2)15/15
KL-BIPOP-CMA-ES Yamaguchi 1.3 (1)1.6 (1)2.5 (2)2.6 (2)2.6 (2)2.4 (2)2.2 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 1.1 (2)2.0 (3)1.7 (2)2.2 (3)2.2 (3)2.1 (3)1.9 (2)15/15
KL-Restart-CMA-ES Yamaguchi 2.4 (2)3.7 (4)1.7 (2)1.8 (2)1.8 (2)1.7 (2)1.6 (2)15/15
Ord-H-DTS-CMA-ES Pitra 1.1 (0.8)∞∞∞∞∞∞2020/15
Ord-N-DTS-CMA-ES Pitra 0.98 (0.5)4.9 (7)∞∞∞∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 0.71 (0.4)3.1 (3)∞∞∞∞∞2010/15
SSEABC Aydin 1.8 (1)2.6 (2)2.4 (1)3.4 (3)3.4 (3)4.3 (4)4.5 (4)15/15

Δ fopt
f16, 2-D		 1e1
9.0		 1e0
50		 1e-1
174		 1e-2
326		 1e-3
358		 1e-5
409		 1e-7
538		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 2.8 (3)3.6 (4)17 (14)101 (132)1007 (928)1.2e5 (2e5)∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2.2 (2)2.6 (3)15 (12)87 (123)830 (1056)1.2e5 (2e5)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1.6 (0.9)3.7 (4)26 (18)159 (223)1042 (1021)8.0e4 (7e4)∞2e70/15
CMAES-APOP Nguyen 3.1 (3)7.4 (11)6.6 (7)7.2 (5)24 (40)62 (82)48 (65)14/15
DTS-CMA-ES Pitra 1.6 (2)5.2 (6)1.7 (2)0.99 (1.0)1.3 (1)1.2 (1)0.96 (0.9)14/15
EvoSpace-PSO-GA Garcia-Valdez 14 (6)10 (5)22 (22)23 (15)26 (13)31 (22)31 (11)15/15
KL-BIPOP-CMA-ES Yamaguchi 1.5 (1)5.9 (12)4.3 (7)2.5 (4)2.9 (3)2.8 (3)2.2 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 1.9 (2)6.6 (7)5.0 (8)3.1 (4)3.1 (4)3.0 (3)2.4 (3)15/15
KL-Restart-CMA-ES Yamaguchi 2.7 (3)3.3 (4)3.7 (2)3.2 (4)3.5 (4)3.5 (4)2.9 (3)15/15
Ord-H-DTS-CMA-ES Pitra 3.4 (4)3.8 (4)3.9 (4)4.6 (5)8.3 (7)∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 2.7 (2)5.8 (8)8.2 (10)∞∞∞∞2020/15
Ord-Q-DTS-CMA-ES Pitra 2.4 (2)2.7 (4)17 (18)∞∞∞∞2010/15
SSEABC Aydin 3.0 (3)5.3 (10)5.3 (5)6.1 (10)8.8 (10)8.5 (9)9.5 (14)14/15

Δ fopt
f17, 2-D		 1e1
3.0		 1e0
61		 1e-1
133		 1e-2
275		 1e-3
396		 1e-5
1086		 1e-7
1657		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.4 (2)5.6 (6)83 (81)7379 (1e4)3.5e5 (3e5)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.6 (2)3.7 (5)159 (193)7053 (4443)3.4e5 (4e5)∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2.5 (2)2.7 (3)205 (340)6468 (9945)7.6e5 (9e5)∞∞2e70/15
CMAES-APOP Nguyen 1.1 (2)1.5 (1)1.7 (2)1.5 (2)1.6 (2)1.5 (0.9)1.5 (0.8)15/15
DTS-CMA-ES Pitra 2.1 (2)0.63 (0.2)↑00.50 (0.2)↑00.54 (0.5)0.91 (0.9)3.8 (5)3.9 (4)4/15
EvoSpace-PSO-GA Garcia-Valdez 30 (32)2.9 (2)30 (26)27 (10)25 (4)15 (3)14 (1.0)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.7 (3)0.94 (0.5)1.8 (2)8.2 (1)131 (1)2300 (2763)2594 (4369)5/15
KL-IPOP-CMA-ES Yamaguchi 3.3 (6)0.98 (0.9)2.2 (3)1.4 (1)149 (1)2106 (2764)1812 (3019)6/15
KL-Restart-CMA-ES Yamaguchi 6.4 (7)2.0 (2)2.7 (0.7)2.0 (0.4)1.9 (0.3)1.1 (0.1)1.0 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra 3.1 (4)1.00 (1)3.1 (3)11 (13)∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 2.7 (3)1.6 (2)4.0 (3)∞∞∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 2.4 (2)1.7 (2)2.5 (2)5.2 (7)∞∞∞2010/15
SSEABC Aydin 2.3 (1)2.5 (2)2.6 (3)1.8 (2)1.6 (1)2.9 (4)15 (14)6/15

Δ fopt
f18, 2-D		 1e1
19		 1e0
134		 1e-1
666		 1e-2
1249		 1e-3
1708		 1e-5
2438		 1e-7
2858		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 3.0 (6)12 (16)312 (316)8096 (1e4)∞∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 3.0 (3)19 (17)261 (322)1.9e4 (3e4)∞∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2.5 (1)20 (18)482 (240)2.1e4 (4e4)1.7e5 (1e5)∞∞2e70/15
CMAES-APOP Nguyen 1.4 (2)4.1 (4)1.6 (0.9)1.2 (0.7)1.1 (0.6)1.2 (0.2)1.3 (0.2)15/15
DTS-CMA-ES Pitra 1.2 (0.7)1.3 (1.0)0.42 (0.3)↑10.37 (0.3)↑00.47 (0.5)1.0 (0.8)1.1 (0.9)7/15
EvoSpace-PSO-GA Garcia-Valdez 6.2 (3)26 (24)11 (6)10 (4)10 (3)15 (6)17 (6)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.3 (2)5.4 (5)2.2 (2)1.4 (1)23 (29)225 (411)193 (350)12/15
KL-IPOP-CMA-ES Yamaguchi 1.8 (2)3.6 (3)1.3 (1)0.89 (0.8)0.73 (0.6)129 (410)617 (875)8/15
KL-Restart-CMA-ES Yamaguchi 3.2 (5)2.1 (0.8)0.78 (0.2)↑10.62 (0.1)↑00.65 (0.1)↑00.68 (0.1)↑00.73 (0.1)↑015/15
Ord-H-DTS-CMA-ES Pitra 1.0 (0.9)2.1 (2)∞∞∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 1.4 (0.8)2.3 (2)∞∞∞∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 1.4 (1)1.6 (3)∞∞∞∞∞2010/15
SSEABC Aydin 4.8 (2)5.4 (4)1.6 (0.9)1.0 (0.5)1.1 (0.4)8.9 (11)48 (57)2/15

Δ fopt
f19, 2-D		 1e1
1		 1e0
1		 1e-1
26		 1e-2
216		 1e-3
227		 1e-5
252		 1e-7
276		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 3.3 (2)24 (23)13 (9)18 (24)58 (46)886 (1285)3.2e4 (3e4)6/15
RANDOMSEARCH-4p5-1e7D Brockhoff 3.7 (3)38 (42)23 (23)39 (38)122 (127)1234 (1078)1.9e4 (2e4)2/15
RANDOMSEARCH-5-1e7D Brockhoff 6.3 (6)26 (32)26 (33)45 (59)143 (125)978 (913)3.7e4 (3e4)4/15
CMAES-APOP Nguyen 1 (0)1 (0)★222 (34)12 (11)13 (9)16 (16)21 (19)15/15
DTS-CMA-ES Pitra 6.6 (8)36 (32)11 (10)40 (73)124 (130)112 (125)∞20050/15
EvoSpace-PSO-GA Garcia-Valdez 70 (48)107 (52)27 (39)63 (26)67 (27)72 (11)83 (26)14/15
KL-BIPOP-CMA-ES Yamaguchi 5.7 (6)26 (22)13 (8)14 (14)15 (13)18 (12)17 (11)15/15
KL-IPOP-CMA-ES Yamaguchi 6.8 (7)95 (18)8.3 (6)18 (19)18 (21)20 (16)19 (15)15/15
KL-Restart-CMA-ES Yamaguchi 4.1 (4)46 (30)8.2 (8)16 (26)19 (25)18 (21)17 (20)15/15
Ord-H-DTS-CMA-ES Pitra 4.5 (6)30 (22)5.1 (7)1.9 (3)2.8 (3)∞∞2020/15
Ord-N-DTS-CMA-ES Pitra 3.3 (4)38 (42)6.4 (4)13 (13)∞∞∞2020/15
Ord-Q-DTS-CMA-ES Pitra 6.8 (8)19 (16)8.4 (8)6.5 (5)13 (15)∞∞2020/15
SSEABC Aydin 9.5 (20)50 (54)9.5 (4)17 (27)21 (27)57 (83)103 (116)7/15

Δ fopt
f20, 2-D		 1e1
4.0		 1e0
61		 1e-1
365		 1e-2
366		 1e-3
366		 1e-5
370		 1e-7
375		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.4 (1)16 (17)32 (38)732 (631)5576 (5073)3.7e5 (4e5)∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.9 (2)17 (15)71 (58)441 (451)5266 (6329)8.0e5 (7e5)∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2.9 (3)16 (24)99 (93)807 (733)6414 (5796)3.9e5 (6e5)∞2e70/15
CMAES-APOP Nguyen 1.7 (1)14 (10)13 (14)14 (14)16 (14)18 (15)20 (15)15/15
DTS-CMA-ES Pitra 2.6 (2)3.0 (3)2.9 (4)3.6 (3)3.6 (5)3.6 (5)3.6 (5)11/15
EvoSpace-PSO-GA Garcia-Valdez 35 (15)32 (44)15 (11)19 (10)25 (7)31 (6)36 (13)15/15
KL-BIPOP-CMA-ES Yamaguchi 3.2 (3)13 (18)8.2 (9)8.7 (10)8.8 (10)9.1 (10)9.2 (10)15/15
KL-IPOP-CMA-ES Yamaguchi 2.2 (3)14 (14)7.1 (5)12 (13)13 (14)13 (15)14 (15)15/15
KL-Restart-CMA-ES Yamaguchi 6.7 (5)11 (14)8.2 (8)8.9 (9)9.4 (9)10 (8)10 (8)15/15
Ord-H-DTS-CMA-ES Pitra 1.6 (2)11 (12)∞∞∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 2.0 (2)15 (19)8.2 (8)∞∞∞∞2010/15
Ord-Q-DTS-CMA-ES Pitra 3.4 (3)23 (37)∞∞∞∞∞2020/15
SSEABC Aydin 3.2 (3)14 (18)13 (14)23 (24)33 (29)61 (47)75 (97)8/15

Δ fopt
f21, 2-D		 1e1
2.0		 1e0
51		 1e-1
174		 1e-2
276		 1e-3
290		 1e-5
324		 1e-7
330		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 0.93 (0.8)0.61 (0.6)0.78 (0.8)1.7 (2)3.7 (4)39 (51)521 (554)15/15
RANDOMSEARCH-4p5-1e7D Brockhoff 0.87 (0.5)1.3 (2)1.4 (2)2.2 (2)8.9 (11)61 (65)497 (654)15/15
RANDOMSEARCH-5-1e7D Brockhoff 0.87 (0.8)1.6 (2)1.3 (1)2.3 (2)5.0 (6)113 (97)470 (730)15/15
CMAES-APOP Nguyen 1.2 (0.8)4.9 (6)2.5 (2)2.1 (2)2.3 (2)2.7 (2)2.9 (2)15/15
DTS-CMA-ES Pitra 1.2 (2)4.0 (6)3.6 (5)4.5 (8)8.3 (7)7.7 (13)9.0 (11)7/15
EvoSpace-PSO-GA Garcia-Valdez 50 (48)2.6 (1)1.3 (1)2.4 (4)4.2 (4)10 (10)17 (11)15/15
KL-BIPOP-CMA-ES Yamaguchi 1.5 (2)11 (8)7.3 (10)6.0 (6)5.9 (6)5.4 (5)5.6 (5)15/15
KL-IPOP-CMA-ES Yamaguchi 1.1 (0.8)4.5 (5)3.1 (3)2.3 (3)3.8 (5)5.1 (5)5.3 (5)15/15
KL-Restart-CMA-ES Yamaguchi 1.4 (1)12 (25)10 (14)6.8 (9)7.5 (9)9.0 (10)9.2 (10)15/15
Ord-H-DTS-CMA-ES Pitra 1.5 (2)2.9 (3)1.4 (1)1.4 (2)3.0 (4)8.8 (13)8.8 (8)1/15
Ord-N-DTS-CMA-ES Pitra 1.2 (0.8)1.9 (2)2.3 (3)3.3 (3)3.2 (4)9.3 (10)9.1 (11)0/15
Ord-Q-DTS-CMA-ES Pitra 1.1 (1)1.9 (3)1.2 (2)1.5 (1)4.9 (6)∞∞2020/15
SSEABC Aydin 1.5 (1)2.9 (7)8.0 (6)6.9 (5)10 (18)15 (22)17 (21)14/15

Δ fopt
f22, 2-D		 1e1
5.0		 1e0
27		 1e-1
168		 1e-2
218		 1e-3
249		 1e-5
289		 1e-7
306		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.5 (0.9)2.4 (4)1.6 (1)3.8 (4)6.8 (6)47 (38)436 (513)15/15
RANDOMSEARCH-4p5-1e7D Brockhoff 0.80 (0.7)1.8 (2)1.3 (1)2.6 (2)5.4 (5)65 (70)676 (949)15/15
RANDOMSEARCH-5-1e7D Brockhoff 1.7 (2)2.2 (2)1.6 (2)2.1 (2)5.9 (6)45 (43)530 (529)15/15
CMAES-APOP Nguyen 8.4 (0.9)5.4 (11)10 (13)9.4 (10)17 (37)62 (32)59 (30)14/15
DTS-CMA-ES Pitra 2.5 (2)12 (12)7.0 (8)10 (12)9.1 (11)12 (13)12 (11)6/15
EvoSpace-PSO-GA Garcia-Valdez 21 (19)18 (4)10 (15)12 (12)13 (13)18 (11)24 (12)15/15
KL-BIPOP-CMA-ES Yamaguchi 7.9 (14)22 (40)5.7 (6)10 (8)9.0 (7)8.4 (6)8.1 (5)15/15
KL-IPOP-CMA-ES Yamaguchi 7.0 (1)8.3 (11)50 (8)40 (6)37 (5)33 (5)32 (5)15/15
KL-Restart-CMA-ES Yamaguchi 1.5 (1)2.5 (3)4.1 (5)4.9 (6)4.5 (5)4.9 (4)5.0 (4)15/15
Ord-H-DTS-CMA-ES Pitra 4.9 (2)3.5 (5)3.6 (6)6.5 (11)5.7 (7)∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 1.6 (2)4.4 (4)1.8 (2)2.3 (2)3.8 (4)5.1 (4)4.9 (4)2/15
Ord-Q-DTS-CMA-ES Pitra 2.0 (2)5.9 (5)2.9 (2)3.0 (4)3.6 (5)10 (6)10 (9)1/15
SSEABC Aydin 0.85 (0.9)5.9 (13)4.2 (6)16 (33)16 (29)21 (35)22 (35)13/15

Δ fopt
f23, 2-D		 1e1
8.0		 1e0
193		 1e-1
234		 1e-2
263		 1e-3
299		 1e-5
348		 1e-7
379		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.6 (2)12 (12)1689 (1978)3.3e5 (3e5)∞∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.9 (2)10 (8)1458 (1632)2.4e5 (2e5)∞∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1.3 (1)12 (9)879 (994)3.5e5 (3e5)∞∞∞2e70/15
CMAES-APOP Nguyen 2.1 (1)6.3 (7)610 (909)879 (960)774 (1178)665 (1302)611 (929)7/15
DTS-CMA-ES Pitra 8.3 (2)8.3 (9)57 (64)51 (66)45 (60)39 (50)35 (37)2/15
EvoSpace-PSO-GA Garcia-Valdez 14 (7)19 (13)226 (248)245 (312)287 (338)276 (190)287 (284)10/15
KL-BIPOP-CMA-ES Yamaguchi 1.5 (2)5.7 (9)12 (16)13 (14)12 (13)11 (11)11 (10)15/15
KL-IPOP-CMA-ES Yamaguchi 2.0 (3)10 (10)15 (26)14 (24)20 (23)17 (20)17 (19)15/15
KL-Restart-CMA-ES Yamaguchi 2.8 (3)8.1 (8)17 (9)18 (13)16 (11)15 (9)15 (9)15/15
Ord-H-DTS-CMA-ES Pitra 2.5 (2)4.4 (5)∞∞∞∞∞2020/15
Ord-N-DTS-CMA-ES Pitra 1.8 (2)16 (12)∞∞∞∞∞2020/15
Ord-Q-DTS-CMA-ES Pitra 1.9 (2)3.1 (2)∞∞∞∞∞2020/15
SSEABC Aydin 1.9 (2)11 (9)20 (18)19 (21)17 (18)20 (29)19 (27)13/15

Δ fopt
f24, 2-D		 1e1
18		 1e0
857		 1e-1
8515		 1e-2
23399		 1e-3
24113		 1e-5
24721		 1e-7
24721		 #succ
5/15
RANDOMSEARCH-4-1e7D Brockhoff 2.3 (3)4.4 (5)79 (98)475 (507)1.2e4 (2e4)∞∞2e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.7 (2)16 (16)212 (283)785 (815)5624 (9725)∞∞2e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1.2 (1.0)31 (33)149 (219)3735 (5531)∞∞∞2e70/15
CMAES-APOP Nguyen 1.3 (1)158 (236)21 (24)11 (10)20 (16)117 (124)∞2e50/15
DTS-CMA-ES Pitra 1.4 (1)16 (21)∞∞∞∞∞20030/15
EvoSpace-PSO-GA Garcia-Valdez 6.3 (3)238 (295)25 (20)13 (14)13 (18)13 (23)13 (12)4/15
KL-BIPOP-CMA-ES Yamaguchi 2.1 (2)10 (10)24 (29)41 (43)43 (44)42 (43)42 (41)13/15
KL-IPOP-CMA-ES Yamaguchi 1.2 (1)245 (500)246 (288)173 (130)169 (125)166 (224)166 (162)6/15
KL-Restart-CMA-ES Yamaguchi 3.4 (3)20 (19)7.9 (8)20 (43)21 (42)20 (40)20 (44)13/15
Ord-H-DTS-CMA-ES Pitra 1.7 (2)∞∞∞∞∞∞2010/15
Ord-N-DTS-CMA-ES Pitra 2.2 (3)∞∞∞∞∞∞2020/15
Ord-Q-DTS-CMA-ES Pitra 2.0 (2)∞∞∞∞∞∞2010/15
SSEABC Aydin 2.1 (2)106 (75)∞∞∞∞∞2e40/15

Previous dimension | Dimension = 3 | Next dimension

Δ fopt
f1, 3-D		 1e1
4.0		 1e0
8.0		 1e-1
8.0		 1e-2
8.0		 1e-3
8.0		 1e-5
8.0		 1e-7
8.0		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.7 (2)20 (31)720 (978)1.1e4 (1e4)3.7e5 (4e5)∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.6 (2)21 (14)618 (685)1.3e4 (8614)4.4e5 (5e5)∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2.0 (4)35 (46)878 (1021)3.5e4 (3e4)1.0e6 (1e6)∞∞3e70/15
CMAES-APOP Nguyen 2.0 (2)4.2 (3)10 (2)16 (4)21 (3)32 (4)43 (4)15/15
DTS-CMA-ES Pitra 2.3 (2)3.1 (0.5)4.0 (1)5.7 (0.7)★27.1 (0.8)★410 (0.8)★412 (1)★415/15
EvoSpace-PSO-GA Garcia-Valdez 45 (13)25 (12)57 (20)121 (89)356 (176)1189 (55)1484 (257)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.8 (2)5.8 (3)10 (4)16 (4)24 (3)35 (7)46 (6)15/15
KL-IPOP-CMA-ES Yamaguchi 2.9 (2)6.3 (3)11 (3)16 (7)23 (5)35 (7)46 (7)15/15
KL-Restart-CMA-ES Yamaguchi 5.2 (8)17 (13)35 (10)54 (6)70 (12)103 (17)137 (17)15/15
Ord-H-DTS-CMA-ES Pitra 2.5 (2)3.0 (1)5.7 (3)10 (4)16 (7)37 (30)65 (42)6/15
Ord-N-DTS-CMA-ES Pitra 1.7 (2)2.7 (2)5.8 (2)11 (6)15 (6)32 (30)72 (86)5/15
Ord-Q-DTS-CMA-ES Pitra 2.7 (2)3.6 (1)6.4 (2)11 (5)20 (19)34 (25)41 (22)11/15
SSEABC Aydin 3.9 (5)10 (2)16 (4)23 (4)28 (3)41 (6)56 (6)15/15

Δ fopt
f2, 3-D		 1e1
38		 1e0
42		 1e-1
43		 1e-2
44		 1e-3
45		 1e-5
47		 1e-7
48		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 4286 (5519)7.6e4 (9e4)1.6e6 (2e6)∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 5953 (7095)1.6e5 (1e5)4.9e6 (9e6)∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 6396 (4388)2.1e5 (2e5)2.2e6 (2e6)∞∞∞∞3e70/15
CMAES-APOP Nguyen 13 (6)15 (6)17 (2)18 (2)19 (2)20 (2)22 (2)15/15
DTS-CMA-ES Pitra 2.0 (0.6)★22.4 (0.5)★22.5 (0.5)★42.7 (0.5)★42.8 (0.5)★43.2 (0.4)★43.6 (0.5)★415/15
EvoSpace-PSO-GA Garcia-Valdez 132 (114)170 (101)214 (13)230 (32)276 (41)333 (67)411 (93)15/15
KL-BIPOP-CMA-ES Yamaguchi 10 (6)16 (6)17 (3)19 (2)19 (2)21 (2)22 (3)15/15
KL-IPOP-CMA-ES Yamaguchi 14 (5)17 (5)19 (3)19 (3)20 (2)21 (2)23 (2)15/15
KL-Restart-CMA-ES Yamaguchi 15 (5)19 (4)22 (5)25 (3)27 (3)31 (4)37 (3)15/15
Ord-H-DTS-CMA-ES Pitra 16 (10)102 (95)102 (154)100 (106)∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 12 (10)20 (22)51 (67)101 (108)100 (100)∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 14 (9)25 (24)50 (65)102 (115)100 (99)∞∞3010/15
SSEABC Aydin 16 (6)20 (5)21 (2)22 (2)23 (2)24 (2)26 (3)15/15

Δ fopt
f3, 3-D		 1e1
38		 1e0
822		 1e-1
830		 1e-2
835		 1e-3
842		 1e-5
847		 1e-7
853		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 29 (29)1762 (2981)1.2e5 (1e5)∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 64 (49)2429 (2785)1.6e5 (1e5)5.4e5 (7e5)∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 100 (102)4215 (2893)8.0e4 (9e4)∞∞∞∞3e70/15
CMAES-APOP Nguyen 2.7 (2)5.0 (4)23 (25)33 (29)40 (43)41 (45)42 (46)15/15
DTS-CMA-ES Pitra 4.8 (3)5.0 (5)∞∞∞∞∞30050/15
EvoSpace-PSO-GA Garcia-Valdez 8.1 (4)5.0 (5)9.4 (5)14 (3)16 (2)19 (4)24 (2)15/15
KL-BIPOP-CMA-ES Yamaguchi 6.4 (4)2.7 (3)16 (11)16 (13)16 (13)16 (13)16 (13)15/15
KL-IPOP-CMA-ES Yamaguchi 3.8 (2)2.8 (2)37 (67)47 (79)49 (82)51 (86)53 (89)15/15
KL-Restart-CMA-ES Yamaguchi 8.7 (3)2.5 (2)12 (16)12 (16)12 (16)13 (16)13 (16)15/15
Ord-H-DTS-CMA-ES Pitra 2.3 (2)∞∞∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 4.6 (5)∞∞∞∞∞∞3020/15
Ord-Q-DTS-CMA-ES Pitra 5.6 (5)∞∞∞∞∞∞3010/15
SSEABC Aydin 4.3 (2)4.2 (6)16 (23)30 (39)34 (48)43 (59)85 (63)2/15

Δ fopt
f4, 3-D		 1e1
40		 1e0
808		 1e-1
866		 1e-2
921		 1e-3
952		 1e-5
1015		 1e-7
1044		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 104 (83)9151 (1e4)∞∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 213 (195)1.0e4 (9829)5.0e5 (6e5)∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 201 (180)2.1e4 (3e4)5.1e5 (6e5)∞∞∞∞3e70/15
CMAES-APOP Nguyen 3.5 (2)202 (389)∞∞∞∞∞3e50/15
DTS-CMA-ES Pitra 4.4 (5)6.4 (12)23 (29)22 (26)21 (18)20 (22)20 (34)2/15
EvoSpace-PSO-GA Garcia-Valdez 11 (4)6.7 (8)13 (9)17 (7)18 (6)22 (5)26 (6)15/15
KL-BIPOP-CMA-ES Yamaguchi 9.3 (13)239 (440)2323 (1955)2388 (2428)2402 (2379)2253 (2045)2191 (2338)12/15
KL-IPOP-CMA-ES Yamaguchi 6.6 (2)590 (801)1.4e4 (2e4)2.1e4 (3e4)2.0e4 (2e4)1.9e4 (3e4)1.9e4 (3e4)2/15
KL-Restart-CMA-ES Yamaguchi 12 (5)67 (61)558 (636)525 (598)508 (578)477 (542)464 (527)15/15
Ord-H-DTS-CMA-ES Pitra 34 (39)∞∞∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 20 (16)∞∞∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 13 (18)∞∞∞∞∞∞3010/15
SSEABC Aydin 11 (19)165 (167)∞∞∞∞∞3e40/15

Δ fopt
f5, 3-D		 1e1
7.0		 1e0
7.0		 1e-1
7.0		 1e-2
7.0		 1e-3
7.0		 1e-5
7.0		 1e-7
7.0		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1025 (1478)∞∞∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 30 (34)2.5e4 (2e4)6.3e7 (6e7)∞∞∞∞3e70/15
CMAES-APOP Nguyen 2.9 (2)4.9 (3)5.1 (3)5.2 (3)5.2 (3)5.2 (3)5.2 (3)15/15
DTS-CMA-ES Pitra 2.1 (1)2.7 (0.6)3.3 (1)3.3 (1)3.4 (1)3.5 (1)3.5 (1)15/15
EvoSpace-PSO-GA Garcia-Valdez 27 (8)86 (49)115 (25)125 (61)125 (61)125 (61)125 (61)15/15
KL-BIPOP-CMA-ES Yamaguchi 3.9 (3)5.6 (3)5.9 (3)5.9 (3)5.9 (3)5.9 (3)5.9 (3)15/15
KL-IPOP-CMA-ES Yamaguchi 2.6 (2)4.9 (2)5.1 (2)5.2 (2)5.2 (2)5.2 (2)5.2 (2)15/15
KL-Restart-CMA-ES Yamaguchi 6.8 (5)12 (7)14 (7)14 (7)14 (7)14 (7)14 (7)15/15
Ord-H-DTS-CMA-ES Pitra 2.5 (0.4)3.6 (2)3.7 (2)3.7 (2)3.7 (2)3.7 (2)3.7 (2)15/15
Ord-N-DTS-CMA-ES Pitra 2.4 (0.3)2.9 (0.6)3.0 (0.6)3.0 (0.6)3.0 (0.6)3.0 (0.6)3.0 (0.6)15/15
Ord-Q-DTS-CMA-ES Pitra 2.4 (0.2)2.8 (0.5)2.8 (0.4)2.8 (0.5)2.8 (0.5)2.8 (0.5)2.8 (0.5)15/15
SSEABC Aydin 3.5 (2)6.7 (3)6.8 (3)6.8 (3)6.8 (3)6.8 (3)6.8 (3)15/15

Δ fopt
f6, 3-D		 1e1
34		 1e0
56		 1e-1
90		 1e-2
117		 1e-3
149		 1e-5
215		 1e-7
265		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 5.4 (8)84 (69)2244 (3124)1.0e5 (1e5)∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 8.2 (6)164 (159)3193 (2922)9.0e4 (1e5)∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 10 (9)158 (165)3088 (4499)2.6e5 (2e5)2.9e6 (4e6)∞∞3e70/15
CMAES-APOP Nguyen 1.9 (1)2.6 (2)2.6 (1)2.9 (0.7)2.9 (0.4)2.9 (0.3)2.9 (0.3)15/15
DTS-CMA-ES Pitra 2.2 (2)2.9 (2)4.4 (3)6.3 (8)6.8 (7)6.7 (5)7.2 (6)12/15
EvoSpace-PSO-GA Garcia-Valdez 6.9 (3)33 (31)55 (35)65 (13)74 (27)79 (21)86 (10)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.0 (2)2.8 (1)3.0 (0.8)3.1 (0.8)3.3 (0.6)3.1 (0.7)3.4 (0.4)15/15
KL-IPOP-CMA-ES Yamaguchi 2.3 (2)3.1 (1)2.9 (0.9)3.1 (0.7)3.1 (0.6)3.2 (0.5)3.3 (0.5)15/15
KL-Restart-CMA-ES Yamaguchi 5.2 (5)8.4 (3)8.7 (2)9.4 (2)10 (1)9.4 (0.9)10 (0.7)15/15
Ord-H-DTS-CMA-ES Pitra 2.6 (4)14 (12)∞∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 1.8 (2)24 (25)∞∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 2.0 (1)9.1 (10)49 (41)∞∞∞∞3010/15
SSEABC Aydin 3.0 (2)3.6 (1)3.6 (0.7)3.6 (0.5)3.5 (0.5)3.2 (0.4)3.4 (0.4)15/15

Δ fopt
f7, 3-D		 1e1
11		 1e0
65		 1e-1
342		 1e-2
464		 1e-3
482		 1e-5
482		 1e-7
535		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 5.7 (5)16 (23)128 (136)2499 (2691)5184 (5377)5184 (5377)3.4e4 (3e4)4/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2.2 (2)26 (26)106 (106)2003 (2365)8623 (7594)8623 (7594)3.1e4 (2e4)2/15
RANDOMSEARCH-5-1e7D Brockhoff 4.8 (6)33 (34)152 (111)3160 (5025)1.1e4 (1e4)1.1e4 (1e4)6.3e4 (7e4)3/15
CMAES-APOP Nguyen 1.6 (1)3.0 (4)1.6 (1)2.0 (1)2.1 (1)2.1 (1)2.1 (1)15/15
DTS-CMA-ES Pitra 2.4 (0.7)1.1 (1)0.38 (0.4)↑10.46 (0.6)0.54 (0.6)0.54 (0.6)0.68 (0.8)11/15
EvoSpace-PSO-GA Garcia-Valdez 13 (5)19 (38)14 (11)14 (7)16 (8)16 (8)16 (8)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.2 (2)2.7 (2)1.2 (0.8)1.1 (0.6)1.3 (1)1.3 (1)1.2 (0.9)15/15
KL-IPOP-CMA-ES Yamaguchi 4.4 (7)3.6 (4)1.5 (0.8)1.3 (0.6)1.2 (0.6)1.2 (0.6)1.1 (0.5)15/15
KL-Restart-CMA-ES Yamaguchi 7.3 (9)3.9 (2)1.3 (0.5)1.3 (0.3)1.4 (0.3)1.4 (0.3)1.3 (0.3)15/15
Ord-H-DTS-CMA-ES Pitra 2.4 (2)2.3 (2)0.94 (1)1.0 (0.7)1.3 (2)1.3 (1)1.5 (2)1/15
Ord-N-DTS-CMA-ES Pitra 2.1 (0.5)1.9 (2)2.3 (3)∞∞∞∞3020/15
Ord-Q-DTS-CMA-ES Pitra 3.5 (2)3.4 (4)1.2 (1)1.7 (2)2.1 (2)2.1 (4)8.3 (7)0/15
SSEABC Aydin 4.0 (3)2.8 (1)1.1 (1)1.4 (1)1.4 (1)1.4 (1)1.7 (1)15/15

Δ fopt
f8, 3-D		 1e1
27		 1e0
45		 1e-1
152		 1e-2
179		 1e-3
188		 1e-5
198		 1e-7
208		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 46 (60)373 (519)5018 (5449)1.5e5 (2e5)2.4e6 (2e6)∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 68 (89)1094 (1234)9424 (8486)1.6e5 (2e5)∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 56 (52)1352 (2743)7469 (6899)4.0e5 (5e5)2.2e6 (2e6)∞∞3e70/15
CMAES-APOP Nguyen 2.6 (1)5.8 (4)3.8 (2)3.9 (2)4.1 (2)4.5 (2)4.8 (1)15/15
DTS-CMA-ES Pitra 1.9 (0.7)2.3 (1)1.7 (0.6)★21.7 (0.6)2.1 (0.5)2.1 (0.5)2.1 (0.5)14/15
EvoSpace-PSO-GA Garcia-Valdez 12 (9)109 (89)152 (59)194 (78)246 (86)333 (137)431 (114)14/15
KL-BIPOP-CMA-ES Yamaguchi 3.3 (2)7.0 (5)3.7 (2)4.0 (2)4.3 (1)4.6 (1)4.9 (1)15/15
KL-IPOP-CMA-ES Yamaguchi 2.3 (1)7.4 (7)4.0 (3)4.3 (2)4.5 (2)4.9 (2)5.1 (2)15/15
KL-Restart-CMA-ES Yamaguchi 8.3 (7)15 (8)8.8 (2)9.2 (2)10 (2)11 (2)12 (1)15/15
Ord-H-DTS-CMA-ES Pitra 2.0 (1)11 (8)29 (41)∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 2.0 (0.8)17 (24)∞∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 1.8 (0.8)11 (11)14 (20)∞∞∞∞3010/15
SSEABC Aydin 4.0 (3)6.6 (3)3.9 (1)4.1 (1)4.5 (1)4.9 (1)5.2 (1)15/15

Δ fopt
f9, 3-D		 1e1
21		 1e0
65		 1e-1
127		 1e-2
149		 1e-3
159		 1e-5
169		 1e-7
178		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 40 (34)371 (327)7762 (1e4)3.8e5 (6e5)∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 47 (79)602 (544)8653 (1e4)1.6e5 (2e5)∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 69 (77)844 (695)1.5e4 (2e4)2.8e5 (4e5)2.8e6 (3e6)∞∞3e70/15
CMAES-APOP Nguyen 2.4 (2)4.7 (4)4.6 (3)4.9 (2)5.1 (2)5.5 (2)5.8 (2)15/15
DTS-CMA-ES Pitra 2.2 (1)1.7 (1)1.1 (0.9)★31.1 (0.7)★31.1 (0.7)★31.2 (0.6)★31.2 (0.6)★315/15
EvoSpace-PSO-GA Garcia-Valdez 13 (6)91 (90)119 (63)163 (65)228 (143)348 (220)437 (217)14/15
KL-BIPOP-CMA-ES Yamaguchi 4.3 (3)5.4 (3)5.2 (2)5.4 (2)5.6 (2)6.1 (2)6.3 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 5.0 (1)5.7 (5)5.0 (4)5.3 (3)5.4 (3)6.0 (3)6.3 (3)15/15
KL-Restart-CMA-ES Yamaguchi 9.1 (6)11 (6)11 (3)12 (3)12 (3)13 (2)14 (2)15/15
Ord-H-DTS-CMA-ES Pitra 2.4 (1)7.3 (10)35 (34)∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 2.7 (1)12 (14)∞∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 2.4 (0.6)3.9 (4)12 (7)∞∞∞∞3010/15
SSEABC Aydin 5.9 (2)6.2 (5)5.6 (3)6.1 (2)6.2 (2)6.6 (2)6.9 (2)15/15

Δ fopt
f10, 3-D		 1e1
114		 1e0
152		 1e-1
168		 1e-2
180		 1e-3
194		 1e-5
218		 1e-7
242		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1274 (1574)2.9e4 (3e4)8.1e5 (8e5)∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2390 (1778)4.1e4 (4e4)1.2e6 (1e6)∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2049 (1691)3.8e4 (3e4)5.4e5 (6e5)∞∞∞∞3e70/15
CMAES-APOP Nguyen 4.0 (2)4.4 (1)4.4 (1)4.6 (0.6)4.5 (0.5)4.5 (0.5)4.4 (0.5)15/15
DTS-CMA-ES Pitra 0.66 (0.1)★4↑00.63 (0.1)★4↑00.66 (0.1)★4↑00.67 (0.1)★4↑00.68 (0.1)★4↑00.70 (0.1)★4↑00.73 (0.1)★4↑015/15
EvoSpace-PSO-GA Garcia-Valdez 416 (608)1801 (2357)2753 (2858)4776 (4495)1.3e4 (1e4)1.2e4 (1e4)∞2e50/15
KL-BIPOP-CMA-ES Yamaguchi 4.2 (2)4.3 (1)4.4 (0.7)4.5 (0.8)4.4 (0.6)4.4 (0.6)4.3 (0.6)15/15
KL-IPOP-CMA-ES Yamaguchi 4.4 (2)4.3 (2)4.6 (0.9)4.6 (0.8)4.5 (0.7)4.4 (0.6)4.4 (0.6)15/15
KL-Restart-CMA-ES Yamaguchi 5.8 (0.9)5.4 (0.8)5.9 (1)6.4 (1)6.6 (0.8)7.2 (0.6)7.5 (0.6)15/15
Ord-H-DTS-CMA-ES Pitra 7.0 (7)29 (30)27 (28)∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 5.0 (3)15 (13)∞∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 5.7 (8)29 (39)26 (34)∞∞∞∞3010/15
SSEABC Aydin 5.0 (2)5.3 (1)5.6 (0.6)5.6 (0.4)5.5 (0.5)5.3 (0.5)5.2 (0.5)15/15

Δ fopt
f11, 3-D		 1e1
67		 1e0
105		 1e-1
227		 1e-2
263		 1e-3
277		 1e-5
302		 1e-7
327		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 92 (74)1714 (1783)1.3e4 (1e4)3.8e5 (4e5)∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 114 (124)1280 (1449)2.3e4 (2e4)2.7e5 (4e5)∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 142 (99)2259 (2566)3.7e4 (4e4)7.7e5 (8e5)1.5e6 (1e6)∞∞3e70/15
CMAES-APOP Nguyen 9.2 (2)7.7 (1)3.9 (0.7)3.6 (0.5)3.6 (0.6)3.6 (0.4)3.6 (0.4)15/15
DTS-CMA-ES Pitra 1.2 (0.5)★0.95 (0.3)★40.49 (0.1)★4↑00.48 (0.1)★4↑00.48 (0.1)★4↑00.51 (0.1)★4↑00.53 (0.1)★4↑015/15
EvoSpace-PSO-GA Garcia-Valdez 92 (72)336 (270)288 (219)427 (289)537 (517)872 (509)1525 (1300)6/15
KL-BIPOP-CMA-ES Yamaguchi 8.3 (3)7.0 (2)3.6 (0.7)3.4 (0.5)3.4 (0.5)3.4 (0.4)3.5 (0.4)15/15
KL-IPOP-CMA-ES Yamaguchi 8.5 (3)6.8 (1)3.5 (0.6)3.2 (0.4)3.3 (0.4)3.3 (0.3)3.3 (0.3)15/15
KL-Restart-CMA-ES Yamaguchi 8.1 (3)6.9 (1)4.1 (1)4.1 (0.5)4.4 (0.6)4.9 (0.4)5.4 (0.5)15/15
Ord-H-DTS-CMA-ES Pitra 20 (27)∞∞∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 3.5 (6)6.4 (7)20 (16)17 (19)∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 21 (19)42 (47)20 (18)17 (19)16 (19)∞∞3010/15
SSEABC Aydin 10 (6)8.8 (2)4.5 (0.6)4.1 (0.6)4.1 (0.5)4.1 (0.5)4.1 (0.5)15/15

Δ fopt
f12, 3-D		 1e1
65		 1e0
168		 1e-1
338		 1e-2
401		 1e-3
445		 1e-5
696		 1e-7
790		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 6.9e4 (8e4)1.3e6 (1e6)∞∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 6.7e4 (7e4)8.0e5 (6e5)∞∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1.5e5 (2e5)1.3e6 (1e6)∞∞∞∞∞3e70/15
CMAES-APOP Nguyen 5.7 (4)4.0 (3)3.2 (2)3.4 (2)3.5 (2)2.9 (1)4.1 (2)15/15
DTS-CMA-ES Pitra 6.7 (5)3.0 (2)1.8 (1)1.7 (1.0)1.7 (0.9)1.2 (0.6)1.2 (0.5)14/15
EvoSpace-PSO-GA Garcia-Valdez 835 (1568)1474 (1467)1390 (2025)4140 (4412)3937 (3420)∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 8.9 (11)6.5 (8)5.0 (5)5.1 (4)5.1 (4)4.1 (3)4.2 (3)15/15
KL-IPOP-CMA-ES Yamaguchi 10 (12)7.3 (9)5.4 (5)5.6 (5)5.7 (5)4.5 (3)4.5 (3)15/15
KL-Restart-CMA-ES Yamaguchi 12 (3)8.4 (9)6.5 (7)6.7 (6)7.1 (6)6.1 (5)6.4 (5)15/15
Ord-H-DTS-CMA-ES Pitra 4.9 (5)3.8 (3)13 (19)∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 6.4 (7)8.3 (9)13 (12)∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 4.9 (4)5.9 (5)6.3 (6)11 (14)10 (16)∞∞3010/15
SSEABC Aydin 8.8 (9)6.7 (10)4.3 (5)4.1 (4)4.1 (4)8.4 (19)10 (19)13/15

Δ fopt
f13, 3-D		 1e1
49		 1e0
85		 1e-1
108		 1e-2
136		 1e-3
215		 1e-5
281		 1e-7
365		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 485 (595)1.2e5 (1e5)∞∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 479 (570)9.7e4 (6e4)∞∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1113 (1658)1.6e5 (2e5)∞∞∞∞∞3e70/15
CMAES-APOP Nguyen 4.9 (5)5.3 (2)5.9 (2)5.9 (0.9)4.4 (1)4.7 (1)4.7 (0.7)15/15
DTS-CMA-ES Pitra 2.0 (0.4)1.5 (0.3)★21.4 (0.2)★21.4 (0.4)★20.98 (0.2)★20.93 (0.2)★2↑10.82 (0.1)★2↑115/15
EvoSpace-PSO-GA Garcia-Valdez 105 (100)209 (54)1277 (1400)4960 (6055)∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 3.3 (1)4.4 (2)5.8 (2)5.8 (2)4.3 (1)4.5 (0.8)4.2 (0.4)15/15
KL-IPOP-CMA-ES Yamaguchi 4.5 (3)5.7 (3)6.8 (2)6.0 (2)4.5 (0.9)4.7 (0.7)592 (0.6)12/15
KL-Restart-CMA-ES Yamaguchi 8.7 (2)7.7 (2)8.7 (0.7)8.7 (0.8)6.5 (0.4)6.8 (0.4)6.6 (0.3)15/15
Ord-H-DTS-CMA-ES Pitra 6.6 (5)12 (13)41 (40)∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 3.5 (3)6.5 (5)20 (23)16 (23)∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 3.5 (3)6.4 (6)10 (10)11 (8)21 (18)∞∞3010/15
SSEABC Aydin 5.2 (4)6.7 (3)7.3 (3)7.4 (1)5.3 (0.8)5.4 (0.6)5.0 (0.4)15/15

Δ fopt
f14, 3-D		 1e1
2.0		 1e0
17		 1e-1
28		 1e-2
43		 1e-3
71		 1e-5
110		 1e-7
194		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 2.0 (2)5.3 (7)248 (274)6823 (8082)3.4e5 (7e5)∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.6 (1)4.8 (5)381 (504)8771 (7078)4.1e5 (4e5)∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2.4 (3)12 (14)489 (471)1.9e4 (1e4)6.8e5 (1e6)∞∞3e70/15
CMAES-APOP Nguyen 1.6 (2)1.3 (2)2.8 (2)3.8 (1)4.2 (2)6.5 (2)5.7 (0.6)15/15
DTS-CMA-ES Pitra 4.1 (4)1.9 (0.3)1.7 (0.3)1.6 (0.4)★1.4 (0.2)★21.4 (0.1)★41.0 (0.1)★415/15
EvoSpace-PSO-GA Garcia-Valdez 38 (49)12 (14)20 (15)103 (91)138 (36)222 (90)2461 (2721)3/15
KL-BIPOP-CMA-ES Yamaguchi 4.0 (4)2.7 (2)4.1 (2)4.3 (0.9)4.3 (1)6.9 (1)5.8 (0.7)15/15
KL-IPOP-CMA-ES Yamaguchi 3.4 (5)2.4 (3)4.1 (2)4.4 (1)4.3 (1)6.6 (1)5.5 (0.9)15/15
KL-Restart-CMA-ES Yamaguchi 1.3 (1)6.9 (4)10 (5)11 (3)10 (2)10 (1)8.1 (0.7)15/15
Ord-H-DTS-CMA-ES Pitra 3.5 (4)2.1 (2)2.6 (1)6.1 (7)10 (11)∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 2.9 (5)1.7 (0.6)2.1 (1)3.3 (2)19 (25)∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 3.5 (4)1.7 (1)2.0 (0.9)2.7 (1)3.1 (2)13 (14)∞3010/15
SSEABC Aydin 2.0 (2)4.9 (3)5.5 (2)6.1 (1)5.9 (2)7.4 (2)6.2 (1.0)15/15

Δ fopt
f15, 3-D		 1e1
121		 1e0
1372		 1e-1
6285		 1e-2
8282		 1e-3
8429		 1e-5
8787		 1e-7
9041		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 20 (13)792 (703)8182 (6407)∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 19 (16)1996 (2245)1.2e4 (1e4)5.3e4 (5e4)5.2e4 (4e4)∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 27 (27)3150 (3374)7.1e4 (4e4)∞∞∞∞3e70/15
CMAES-APOP Nguyen 0.89 (0.5)1.7 (1)0.67 (0.5)0.68 (0.4)↑10.73 (0.5)0.77 (0.5)0.81 (0.5)15/15
DTS-CMA-ES Pitra 1.2 (1)1.6 (2)0.84 (0.5)0.76 (0.8)0.75 (0.8)0.72 (0.8)0.70 (0.7)6/15
EvoSpace-PSO-GA Garcia-Valdez 3.2 (3)17 (11)47 (48)36 (43)35 (33)34 (46)34 (36)4/15
KL-BIPOP-CMA-ES Yamaguchi 1.2 (0.9)1.8 (2)1.1 (1)0.84 (0.8)0.83 (0.8)0.83 (0.8)0.83 (0.8)15/15
KL-IPOP-CMA-ES Yamaguchi 1.3 (0.8)1.8 (2)0.94 (0.7)0.74 (0.6)0.74 (0.6)0.75 (0.6)0.76 (0.5)15/15
KL-Restart-CMA-ES Yamaguchi 2.5 (0.8)1.4 (1)0.81 (0.8)0.63 (0.6)0.64 (0.6)0.64 (0.6)0.65 (0.6)15/15
Ord-H-DTS-CMA-ES Pitra 1.0 (0.5)∞∞∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 1.4 (2)∞∞∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 1.4 (1)1.6 (2)∞∞∞∞∞3010/15
SSEABC Aydin 1.2 (0.5)1.3 (0.9)1.0 (0.8)0.91 (1)1.1 (1)1.5 (1)3.6 (4)5/15

Δ fopt
f16, 3-D		 1e1
41		 1e0
319		 1e-1
582		 1e-2
789		 1e-3
1864		 1e-5
3204		 1e-7
3361		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.4 (1)13 (13)186 (221)5847 (7532)3.9e4 (6e4)∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.0 (1)7.3 (6)243 (275)4429 (4853)7.0e4 (1e5)∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1.8 (2)12 (13)277 (348)8011 (1e4)3.1e4 (3e4)∞∞3e70/15
CMAES-APOP Nguyen 1.7 (2)5.1 (6)36 (40)60 (75)36 (47)22 (29)22 (29)14/15
DTS-CMA-ES Pitra 1.4 (1.0)4.1 (5)5.9 (10)5.3 (6)2.3 (2)1.6 (2)1.6 (2)6/15
EvoSpace-PSO-GA Garcia-Valdez 3.0 (1)9.0 (8)43 (15)92 (148)41 (57)26 (44)36 (36)9/15
KL-BIPOP-CMA-ES Yamaguchi 1.9 (2)1.2 (0.5)2.3 (3)1.9 (2)0.86 (0.9)0.58 (0.5)0.62 (0.7)15/15
KL-IPOP-CMA-ES Yamaguchi 1.8 (2)3.9 (7)3.9 (6)4.4 (6)2.0 (2)1.2 (1)1.2 (1)15/15
KL-Restart-CMA-ES Yamaguchi 1.5 (3)3.9 (3)3.1 (1)2.5 (1)1.2 (0.5)0.78 (0.3)0.82 (0.3)15/15
Ord-H-DTS-CMA-ES Pitra 1.0 (1)14 (11)∞∞∞∞∞3020/15
Ord-N-DTS-CMA-ES Pitra 1.3 (1)14 (21)∞∞∞∞∞3020/15
Ord-Q-DTS-CMA-ES Pitra 1.3 (1)4.3 (7)7.5 (10)∞∞∞∞3020/15
SSEABC Aydin 1.7 (1)3.4 (3)4.9 (6)4.3 (5)2.0 (2)2.0 (2)5.8 (8)11/15

Δ fopt
f17, 3-D		 1e1
4.0		 1e0
78		 1e-1
282		 1e-2
491		 1e-3
1134		 1e-5
2347		 1e-7
3469		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.2 (1)16 (16)4055 (7161)∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2.2 (3)27 (27)2911 (3647)∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1.9 (2)37 (27)1.2e4 (9682)∞∞∞∞3e70/15
CMAES-APOP Nguyen 1.2 (1)1.2 (0.5)0.75 (0.1)↑10.69 (0.2)↑00.97 (1)1.8 (1.0)1.5 (0.8)15/15
DTS-CMA-ES Pitra 3.0 (2)1.5 (2)0.85 (0.7)0.70 (0.7)0.35 (0.3)↑00.85 (0.9)0.88 (0.8)9/15
EvoSpace-PSO-GA Garcia-Valdez 31 (24)7.6 (9)17 (14)18 (8)19 (4)18 (22)19 (22)12/15
KL-BIPOP-CMA-ES Yamaguchi 4.0 (4)6.4 (13)2.5 (4)2.2 (2)190 (1)640 (959)989 (865)7/15
KL-IPOP-CMA-ES Yamaguchi 14 (9)3.6 (6)1.5 (2)1.2 (1)190 (0.6)1462 (1598)2380 (1947)4/15
KL-Restart-CMA-ES Yamaguchi 9.2 (9)4.2 (2)2.4 (0.7)2.1 (0.3)1.2 (0.2)0.95 (0.1)0.86 (0.1)↑015/15
Ord-H-DTS-CMA-ES Pitra 2.8 (3)1.6 (3)2.7 (3)∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 1.4 (2)1.2 (0.7)4.9 (7)∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 1.8 (1)1.8 (1)7.5 (7)∞∞∞∞3010/15
SSEABC Aydin 2.2 (4)1.8 (0.9)0.99 (0.3)0.92 (0.2)0.89 (0.8)3.3 (5)9.0 (9)9/15

Δ fopt
f18, 3-D		 1e1
40		 1e0
145		 1e-1
1289		 1e-2
3084		 1e-3
3523		 1e-5
4738		 1e-7
5527		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 4.0 (4)190 (247)5.0e4 (4e4)∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 3.8 (3)326 (251)3.9e4 (4e4)∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 4.2 (3)537 (609)7.6e4 (6e4)∞∞∞∞3e70/15
CMAES-APOP Nguyen 0.97 (0.6)5.6 (7)2.4 (1)1.4 (0.4)1.5 (0.4)1.5 (0.4)1.5 (0.4)15/15
DTS-CMA-ES Pitra 1.2 (0.7)1.2 (1)0.56 (0.6)0.28 (0.3)↑10.31 (0.2)↑11.0 (0.8)1.1 (1)6/15
EvoSpace-PSO-GA Garcia-Valdez 4.2 (1)32 (26)23 (41)44 (51)192 (212)302 (396)∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 1.2 (0.8)12 (15)3.2 (3)2.6 (2)3.0 (3)2.5 (2)41 (2)14/15
KL-IPOP-CMA-ES Yamaguchi 1.1 (0.6)1.9 (0.7)0.62 (0.9)45 (2)177 (426)272 (634)406 (543)9/15
KL-Restart-CMA-ES Yamaguchi 4.4 (3)3.6 (2)0.69 (0.1)↑00.44 (0.1)↑00.51 (0.1)↑00.55 (0.1)↑00.61 (0.0)↑015/15
Ord-H-DTS-CMA-ES Pitra 1.1 (1.0)2.0 (2)1.7 (1)∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 1.3 (0.6)∞∞∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 1.5 (1)3.0 (4)3.5 (4)∞∞∞∞3010/15
SSEABC Aydin 2.2 (1)2.7 (0.7)1.4 (1)1.2 (0.8)1.9 (2)12 (12)13 (18)5/15

Δ fopt
f19, 3-D		 1e1
1		 1e0
1		 1e-1
109		 1e-2
6764		 1e-3
7367		 1e-5
7399		 1e-7
7441		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 6.3 (6)364 (378)239 (242)252 (334)1392 (811)2.9e4 (3e4)∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 5.4 (2)314 (304)495 (284)199 (169)1042 (1342)∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 6.3 (6)920 (982)350 (483)385 (446)1370 (1109)∞∞3e70/15
CMAES-APOP Nguyen 1 (0)1 (0)★436 (27)1.5 (0.7)2.0 (0.8)2.4 (0.9)2.7 (0.8)15/15
DTS-CMA-ES Pitra 4.7 (4)347 (204)114 (195)∞∞∞∞30020/15
EvoSpace-PSO-GA Garcia-Valdez 110 (100)801 (1226)157 (68)14 (25)28 (32)29 (46)32 (41)6/15
KL-BIPOP-CMA-ES Yamaguchi 7.5 (10)430 (974)122 (194)5.5 (8)6.6 (7)6.6 (7)6.6 (7)15/15
KL-IPOP-CMA-ES Yamaguchi 12 (9)195 (154)178 (295)9.1 (6)8.4 (5)8.5 (5)8.5 (5)15/15
KL-Restart-CMA-ES Yamaguchi 13 (16)177 (140)189 (304)7.3 (9)11 (17)11 (17)11 (17)15/15
Ord-H-DTS-CMA-ES Pitra 8.5 (11)174 (214)39 (28)∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 11 (10)170 (191)∞∞∞∞∞3020/15
Ord-Q-DTS-CMA-ES Pitra 8.8 (9)190 (222)41 (32)∞∞∞∞3020/15
SSEABC Aydin 8.3 (4)517 (1030)50 (53)3.8 (7)4.3 (5)4.3 (6)4.9 (6)8/15

Δ fopt
f20, 3-D		 1e1
8.0		 1e0
385		 1e-1
2291		 1e-2
2398		 1e-3
2481		 1e-5
2573		 1e-7
2776		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 3.1 (3)44 (44)747 (545)2.6e4 (2e4)∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 4.0 (4)61 (56)827 (926)5.7e4 (6e4)∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 4.3 (6)56 (33)1308 (1258)5.6e4 (7e4)∞∞∞3e70/15
CMAES-APOP Nguyen 1.4 (1)6.8 (6)5.3 (4)6.2 (4)6.7 (4)7.1 (3)6.9 (3)15/15
DTS-CMA-ES Pitra 2.1 (1)1.5 (1)3.9 (5)8.2 (8)8.0 (8)7.7 (7)7.1 (10)2/15
EvoSpace-PSO-GA Garcia-Valdez 21 (6)10 (11)7.4 (1)8.0 (3)8.5 (3)10 (3)10 (2)14/15
KL-BIPOP-CMA-ES Yamaguchi 2.6 (3)6.0 (6)6.1 (5)6.1 (5)6.0 (5)6.0 (5)5.6 (5)15/15
KL-IPOP-CMA-ES Yamaguchi 2.4 (2)2.7 (3)4.9 (3)4.9 (3)4.8 (3)4.8 (3)4.7 (3)15/15
KL-Restart-CMA-ES Yamaguchi 7.4 (6)5.1 (6)4.4 (5)4.4 (5)4.3 (5)4.3 (5)4.0 (4)15/15
Ord-H-DTS-CMA-ES Pitra 2.2 (2)11 (14)∞∞∞∞∞3010/15
Ord-N-DTS-CMA-ES Pitra 2.5 (2)∞∞∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 2.1 (2)∞∞∞∞∞∞3010/15
SSEABC Aydin 4.7 (5)4.4 (3)8.9 (9)11 (10)20 (17)55 (46)157 (132)1/15

Δ fopt
f21, 3-D		 1e1
6.0		 1e0
184		 1e-1
425		 1e-2
439		 1e-3
458		 1e-5
469		 1e-7
482		 #succ
14/15
RANDOMSEARCH-4-1e7D Brockhoff 1.3 (1)1.5 (2)2.7 (3)23 (35)108 (103)1775 (1684)1.5e5 (2e5)1/15
RANDOMSEARCH-4p5-1e7D Brockhoff 0.79 (0.7)1.7 (2)2.6 (3)26 (19)97 (103)5162 (7451)2.7e5 (5e5)1/15
RANDOMSEARCH-5-1e7D Brockhoff 1.4 (1)2.2 (3)10 (11)38 (38)163 (157)6528 (6914)2.7e5 (4e5)2/15
CMAES-APOP Nguyen 1.7 (2)3.1 (3)3.1 (4)13 (10)20 (10)26 (11)36 (11)15/15
DTS-CMA-ES Pitra 2.0 (2)7.1 (6)6.6 (7)9.4 (10)9.0 (13)13 (16)43 (33)1/15
EvoSpace-PSO-GA Garcia-Valdez 24 (17)2.6 (3)3.6 (5)6.4 (6)9.0 (8)15 (8)19 (10)15/15
KL-BIPOP-CMA-ES Yamaguchi 1.8 (1)7.6 (5)5.9 (14)7.0 (14)6.8 (13)6.9 (13)6.9 (12)15/15
KL-IPOP-CMA-ES Yamaguchi 1.8 (3)6.4 (5)8.1 (11)8.2 (11)8.2 (11)8.5 (11)8.6 (11)15/15
KL-Restart-CMA-ES Yamaguchi 1.9 (2)7.0 (7)3.9 (4)6.5 (6)6.5 (6)6.6 (6)6.9 (6)15/15
Ord-H-DTS-CMA-ES Pitra 0.91 (0.9)1.7 (3)3.1 (3)3.1 (3)4.5 (6)4.5 (4)4.5 (5)2/15
Ord-N-DTS-CMA-ES Pitra 1.5 (2)1.8 (2)5.1 (7)10 (8)∞∞∞3020/15
Ord-Q-DTS-CMA-ES Pitra 1.8 (3)2.9 (4)2.3 (3)4.8 (4)9.4 (12)9.3 (8)9.1 (15)1/15
SSEABC Aydin 1.2 (1)10 (20)8.7 (9)17 (25)22 (30)28 (45)27 (40)12/15

Δ fopt
f22, 3-D		 1e1
18		 1e0
170		 1e-1
354		 1e-2
362		 1e-3
384		 1e-5
401		 1e-7
414		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.7 (2)2.9 (4)5.7 (6)48 (45)134 (123)1559 (1979)1.4e5 (2e5)1/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.2 (0.8)2.6 (3)7.3 (9)41 (39)166 (155)4522 (4773)1.7e5 (1e5)0/15
RANDOMSEARCH-5-1e7D Brockhoff 1.6 (2)2.7 (4)7.1 (7)54 (64)132 (149)7987 (6634)2.2e5 (2e5)1/15
CMAES-APOP Nguyen 1.3 (1)3.2 (3)16 (33)22 (34)89 (111)146 (379)142 (380)13/15
DTS-CMA-ES Pitra 1.2 (1)2.4 (2)5.2 (8)7.8 (10)7.5 (16)7.5 (10)14 (18)2/15
EvoSpace-PSO-GA Garcia-Valdez 5.9 (0.2)8.5 (14)8.4 (9)15 (18)20 (27)27 (26)34 (26)15/15
KL-BIPOP-CMA-ES Yamaguchi 10 (19)7.2 (9)11 (14)12 (14)11 (13)11 (12)11 (12)15/15
KL-IPOP-CMA-ES Yamaguchi 7.2 (2)7.1 (11)14 (11)28 (50)29 (51)43 (58)59 (62)15/15
KL-Restart-CMA-ES Yamaguchi 2.4 (2)14 (13)17 (17)19 (17)18 (16)17 (15)17 (15)15/15
Ord-H-DTS-CMA-ES Pitra 3.3 (5)2.1 (3)12 (12)12 (12)11 (12)11 (13)11 (16)1/15
Ord-N-DTS-CMA-ES Pitra 2.2 (2)2.3 (4)6.0 (9)5.9 (6)11 (11)11 (9)11 (11)1/15
Ord-Q-DTS-CMA-ES Pitra 3.1 (2)2.6 (4)13 (14)∞∞∞∞3010/15
SSEABC Aydin 5.4 (3)4.6 (4)38 (49)55 (84)63 (111)76 (105)74 (91)8/15

Δ fopt
f23, 3-D		 1e1
3.0		 1e0
407		 1e-1
906		 1e-2
1215		 1e-3
2214		 1e-5
2293		 1e-7
2393		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 3.6 (5)22 (32)1.8e4 (2e4)∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 3.3 (3)24 (40)1.3e4 (1e4)∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 3.4 (4)14 (17)1.2e4 (2e4)∞∞∞∞3e70/15
CMAES-APOP Nguyen 1.3 (1)10 (14)2316 (2256)∞∞∞∞3e50/15
DTS-CMA-ES Pitra 4.4 (4)6.7 (4)5.4 (8)4.7 (6)2.6 (3)2.5 (2)2.4 (2)6/15
EvoSpace-PSO-GA Garcia-Valdez 25 (16)26 (30)116 (122)161 (147)117 (113)118 (122)119 (111)5/15
KL-BIPOP-CMA-ES Yamaguchi 4.8 (5)8.9 (9)15 (18)11 (13)6.3 (7)6.2 (7)6.1 (7)15/15
KL-IPOP-CMA-ES Yamaguchi 4.9 (4)7.0 (8)8.2 (7)7.9 (9)4.5 (5)4.5 (5)4.4 (5)15/15
KL-Restart-CMA-ES Yamaguchi 4.1 (2)11 (6)14 (18)11 (14)6.1 (8)6.2 (7)6.2 (7)15/15
Ord-H-DTS-CMA-ES Pitra 3.8 (4)10 (13)∞∞∞∞∞3020/15
Ord-N-DTS-CMA-ES Pitra 5.2 (7)11 (15)∞∞∞∞∞3020/15
Ord-Q-DTS-CMA-ES Pitra 4.6 (4)5.1 (5)∞∞∞∞∞3020/15
SSEABC Aydin 3.0 (3)8.2 (10)15 (17)16 (24)11 (9)12 (15)14 (20)8/15

Δ fopt
f24, 3-D		 1e1
97		 1e0
10391		 1e-1
1.0e5		 1e-2
3.6e5		 1e-3
3.6e5		 1e-5
3.6e5		 1e-7
3.6e5		 #succ
2/15
RANDOMSEARCH-4-1e7D Brockhoff 7.6 (7)194 (270)∞∞∞∞∞3e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 9.1 (12)382 (484)∞∞∞∞∞3e70/15
RANDOMSEARCH-5-1e7D Brockhoff 12 (9)297 (412)∞∞∞∞∞3e70/15
CMAES-APOP Nguyen 4.0 (8)189 (231)∞∞∞∞∞3e50/15
DTS-CMA-ES Pitra 1.3 (0.5)∞∞∞∞∞∞30020/15
EvoSpace-PSO-GA Garcia-Valdez 7.0 (8)21 (20)14 (16)∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 3.8 (2)10 (15)32 (48)18 (26)19 (17)19 (21)19 (25)5/15
KL-IPOP-CMA-ES Yamaguchi 1.5 (1)376 (416)88 (100)37 (49)37 (48)37 (45)37 (59)3/15
KL-Restart-CMA-ES Yamaguchi 3.3 (2)5.7 (4)11 (15)11 (12)11 (12)11 (12)11 (13)8/15
Ord-H-DTS-CMA-ES Pitra 2.6 (4)∞∞∞∞∞∞3020/15
Ord-N-DTS-CMA-ES Pitra 2.1 (1)∞∞∞∞∞∞3010/15
Ord-Q-DTS-CMA-ES Pitra 2.5 (2)∞∞∞∞∞∞3020/15
SSEABC Aydin 2.2 (2)41 (40)∞∞∞∞∞3e40/15

Previous dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D		 1e1
11		 1e0
12		 1e-1
12		 1e-2
12		 1e-3
12		 1e-5
12		 1e-7
12		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 3.2 (3)1037 (566)1.9e5 (1e5)2.7e7 (4e7)∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 4.8 (6)765 (816)2.4e5 (3e5)2.8e7 (2e7)∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 12 (10)1633 (1062)3.4e5 (2e5)∞∞∞∞5e70/15
CMAES-APOP Nguyen 2.3 (2)6.0 (4)14 (3)19 (3)26 (3)39 (4)52 (6)15/15
DTS-CMA-ES Pitra 2.1 (0.9)3.6 (1)5.1 (0.6)★37.1 (1)★38.8 (0.9)★412 (1)★416 (1)★415/15
EvoSpace-PSO-GA Garcia-Valdez 16 (0.8)36 (11)98 (47)212 (197)519 (380)1391 (246)1838 (183)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.5 (2)9.2 (3)15 (5)22 (6)30 (6)44 (6)57 (7)15/15
KL-IPOP-CMA-ES Yamaguchi 4.0 (2)10 (5)16 (4)23 (3)30 (3)43 (5)57 (5)15/15
KL-Restart-CMA-ES Yamaguchi 9.4 (9)36 (12)60 (11)81 (11)106 (7)150 (10)198 (13)15/15
Ord-H-DTS-CMA-ES Pitra 2.4 (1)5.2 (2)10 (3)19 (7)56 (44)150 (160)619 (647)0/15
Ord-N-DTS-CMA-ES Pitra 2.1 (0.6)4.0 (1)9.3 (5)23 (23)52 (56)306 (229)625 (804)0/15
Ord-Q-DTS-CMA-ES Pitra 2.1 (1)4.8 (2)11 (4)19 (23)30 (24)57 (56)122 (74)1/15
SSEABC Aydin 5.9 (4)12 (2)18 (3)26 (4)32 (3)45 (5)56 (3)15/15

Δ fopt
f2, 5-D		 1e1
83		 1e0
87		 1e-1
88		 1e-2
89		 1e-3
90		 1e-5
92		 1e-7
94		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 4.2e6 (4e6)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 8.8e6 (8e6)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 14 (4)17 (2)17 (1)18 (1)19 (1)20 (2)22 (1)15/15
DTS-CMA-ES Pitra 2.3 (0.6)★42.8 (0.4)★43.0 (0.5)★43.2 (0.4)★43.4 (0.4)★43.7 (0.4)★44.0 (0.4)★415/15
EvoSpace-PSO-GA Garcia-Valdez 94 (62)147 (14)182 (66)212 (77)258 (75)344 (103)445 (53)15/15
KL-BIPOP-CMA-ES Yamaguchi 15 (4)17 (2)18 (2)19 (1)20 (1)21 (2)22 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 14 (5)16 (4)18 (2)19 (3)19 (2)21 (2)22 (2)15/15
KL-Restart-CMA-ES Yamaguchi 18 (4)22 (3)25 (3)28 (3)31 (3)36 (2)41 (3)15/15
Ord-H-DTS-CMA-ES Pitra 89 (75)∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 29 (31)∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 88 (98)∞∞∞∞∞∞5010/15
SSEABC Aydin 15 (4)18 (3)19 (2)20 (2)21 (2)22 (2)23 (2)15/15

Δ fopt
f3, 5-D		 1e1
716		 1e0
1622		 1e-1
1637		 1e-2
1642		 1e-3
1646		 1e-5
1650		 1e-7
1654		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 3791 (2732)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 3003 (4645)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 8061 (9643)∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 1.3 (3)40 (43)164 (193)166 (238)167 (185)167 (201)168 (259)12/15
DTS-CMA-ES Pitra 0.90 (1)∞∞∞∞∞∞50040/15
EvoSpace-PSO-GA Garcia-Valdez 1.6 (1)8.2 (8)15 (6)18 (8)21 (8)29 (8)34 (9)15/15
KL-BIPOP-CMA-ES Yamaguchi 1.2 (1)15 (14)328 (333)327 (332)326 (332)326 (331)326 (330)15/15
KL-IPOP-CMA-ES Yamaguchi 1.2 (1)69 (154)4835 (4588)6104 (6094)6090 (5323)6076 (6068)6061 (1e4)5/15
KL-Restart-CMA-ES Yamaguchi 2.0 (0.7)10 (12)43 (50)43 (50)43 (50)43 (50)44 (49)15/15
Ord-H-DTS-CMA-ES Pitra 2.4 (2)4.5 (8)4.6 (5)∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 10 (10)∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 3.4 (3)∞∞∞∞∞∞5020/15
SSEABC Aydin 1.2 (2)9.2 (8)49 (80)74 (67)132 (167)132 (136)210 (232)2/15

Δ fopt
f4, 5-D		 1e1
809		 1e0
1633		 1e-1
1688		 1e-2
1758		 1e-3
1817		 1e-5
1886		 1e-7
1903		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 8949 (7181)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.1e4 (1e4)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2.2e4 (3e4)∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 4.1 (4)∞∞∞∞∞∞5e50/15
DTS-CMA-ES Pitra 2.2 (3)∞∞∞∞∞∞50050/15
EvoSpace-PSO-GA Garcia-Valdez 1.8 (1)10 (6)18 (7)21 (9)22 (8)31 (8)36 (8)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.5 (1)5236 (4678)4.2e4 (3e4)4.1e4 (4e4)3.9e4 (4e4)3.8e4 (3e4)3.8e4 (5e4)1/15
KL-IPOP-CMA-ES Yamaguchi 1.8 (2)∞∞∞∞∞∞5e60/15
KL-Restart-CMA-ES Yamaguchi 2.5 (0.8)4255 (4872)2.0e4 (3e4)1.9e4 (2e4)1.9e4 (2e4)1.8e4 (1e4)1.8e4 (2e4)2/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
SSEABC Aydin 2.7 (2)∞∞∞∞∞∞5e40/15

Δ fopt
f5, 5-D		 1e1
10		 1e0
10		 1e-1
10		 1e-2
10		 1e-3
10		 1e-5
10		 1e-7
10		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2608 (2221)∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 5.8 (2)7.3 (3)7.4 (3)7.5 (3)7.5 (3)7.5 (3)7.5 (3)15/15
DTS-CMA-ES Pitra 2.7 (0.8)3.5 (1)4.6 (2)4.7 (2)4.7 (2)4.7 (2)4.7 (2)15/15
EvoSpace-PSO-GA Garcia-Valdez 38 (11)128 (89)186 (92)189 (87)189 (87)189 (87)189 (87)15/15
KL-BIPOP-CMA-ES Yamaguchi 4.7 (2)6.1 (2)6.3 (2)6.3 (2)6.3 (2)6.3 (2)6.3 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 4.7 (2)6.5 (2)6.8 (2)6.8 (2)6.8 (2)6.8 (2)6.8 (2)15/15
KL-Restart-CMA-ES Yamaguchi 15 (6)20 (6)21 (5)21 (5)21 (5)21 (5)21 (5)15/15
Ord-H-DTS-CMA-ES Pitra 2.4 (0.5)3.5 (1)3.8 (2)3.8 (2)3.8 (2)3.8 (2)3.8 (2)15/15
Ord-N-DTS-CMA-ES Pitra 2.5 (0.4)3.8 (2)4.1 (2)4.1 (2)4.1 (2)4.1 (2)4.1 (2)15/15
Ord-Q-DTS-CMA-ES Pitra 2.5 (0.8)4.0 (2)4.4 (2)4.6 (2)4.6 (2)4.6 (2)4.6 (2)15/15
SSEABC Aydin 6.6 (3)22 (21)34 (37)41 (47)46 (48)51 (48)51 (48)15/15

Δ fopt
f6, 5-D		 1e1
114		 1e0
214		 1e-1
281		 1e-2
404		 1e-3
580		 1e-5
1038		 1e-7
1332		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 3.3e4 (9550)4.4e4 (6e4)∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 137 (155)2.2e4 (3e4)∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 89 (105)3.4e4 (4e4)∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 1.7 (0.8)1.8 (0.5)2.0 (0.4)1.9 (0.5)1.6 (0.4)1.2 (0.2)1.2 (0.2)15/15
DTS-CMA-ES Pitra 4.0 (4)34 (53)77 (100)183 (198)∞∞∞50060/15
EvoSpace-PSO-GA Garcia-Valdez 16 (18)42 (30)65 (9)69 (18)67 (17)60 (8)71 (10)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.1 (1)1.9 (0.7)2.1 (0.5)1.8 (0.5)1.6 (0.3)1.2 (0.2)1.2 (0.2)15/15
KL-IPOP-CMA-ES Yamaguchi 2.3 (0.9)2.1 (0.4)2.2 (0.3)2.0 (0.5)1.7 (0.3)1.3 (0.2)1.3 (0.1)15/15
KL-Restart-CMA-ES Yamaguchi 8.3 (3)7.5 (2)7.9 (1)7.1 (0.4)6.1 (0.3)4.5 (0.5)4.6 (0.3)15/15
Ord-H-DTS-CMA-ES Pitra 3.8 (3)11 (13)∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 3.4 (3)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 3.4 (3)34 (64)∞∞∞∞∞5020/15
SSEABC Aydin 2.0 (0.5)1.9 (0.5)2.0 (0.4)1.8 (0.2)1.6 (0.2)1.2 (0.2)1.2 (0.1)15/15

Δ fopt
f7, 5-D		 1e1
24		 1e0
324		 1e-1
1171		 1e-2
1451		 1e-3
1572		 1e-5
1572		 1e-7
1597		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 82 (88)742 (438)3.1e4 (5e4)∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 67 (104)894 (976)3.0e4 (3e4)∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 56 (103)851 (1722)8.8e4 (1e5)∞∞∞∞5e70/15
CMAES-APOP Nguyen 3.2 (2)2.2 (2)1.7 (1.0)1.9 (1.0)1.9 (0.3)1.9 (0.3)2.0 (0.3)15/15
DTS-CMA-ES Pitra 3.3 (0.9)0.93 (0.8)0.48 (0.4)↑00.50 (0.3)↑10.58 (0.6)0.58 (0.6)0.93 (0.8)13/15
EvoSpace-PSO-GA Garcia-Valdez 11 (8)28 (30)32 (49)34 (34)38 (33)38 (33)38 (35)12/15
KL-BIPOP-CMA-ES Yamaguchi 4.8 (3)1.2 (1)1.1 (0.7)1.1 (0.5)1.2 (0.5)1.2 (0.5)1.2 (0.5)15/15
KL-IPOP-CMA-ES Yamaguchi 4.4 (3)1.7 (1)1.4 (1.0)1.3 (0.8)1.2 (0.8)1.2 (0.8)1.2 (0.8)15/15
KL-Restart-CMA-ES Yamaguchi 13 (11)2.3 (0.5)0.95 (0.2)1.00 (0.1)0.98 (0.1)0.98 (0.1)0.96 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra 6.9 (11)5.2 (6)∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 2.9 (2)1.4 (2)6.2 (7)∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 3.7 (3)2.4 (2)1.9 (2)5.0 (8)4.6 (4)4.6 (6)4.6 (8)1/15
SSEABC Aydin 5.9 (2)1.9 (2)1.4 (1)1.4 (1)1.4 (1)1.4 (1)1.4 (1)15/15

Δ fopt
f8, 5-D		 1e1
73		 1e0
273		 1e-1
336		 1e-2
372		 1e-3
391		 1e-5
410		 1e-7
422		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 5300 (5904)1.3e6 (2e6)∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.5e4 (2e4)2.6e6 (2e6)∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1.7e4 (1e4)∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 2.6 (0.5)4.4 (1)5.4 (1)5.6 (1)5.8 (1)6.1 (1)6.4 (1)15/15
DTS-CMA-ES Pitra 1.2 (0.5)★21.0 (0.2)★21.1 (0.2)★21.1 (0.2)★31.1 (0.2)★31.2 (0.2)★31.2 (0.1)15/15
EvoSpace-PSO-GA Garcia-Valdez 19 (13)94 (72)243 (159)420 (279)645 (278)3289 (3750)1.3e4 (2e4)1/15
KL-BIPOP-CMA-ES Yamaguchi 3.5 (2)3.0 (1)3.8 (2)4.1 (1)4.2 (1)4.5 (1)4.8 (1)15/15
KL-IPOP-CMA-ES Yamaguchi 5.9 (6)6.9 (6)7.3 (5)7.2 (5)7.2 (5)7.4 (4)7.6 (4)15/15
KL-Restart-CMA-ES Yamaguchi 11 (3)8.9 (2)10 (1)11 (1)11 (1)12 (1)13 (1)15/15
Ord-H-DTS-CMA-ES Pitra 4.0 (4)26 (37)∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 4.7 (4)∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 2.5 (1)27 (29)22 (21)∞∞∞∞5010/15
SSEABC Aydin 4.7 (1)5.6 (6)8.7 (5)14 (17)14 (16)14 (15)14 (15)15/15

Δ fopt
f9, 5-D		 1e1
35		 1e0
127		 1e-1
214		 1e-2
263		 1e-3
300		 1e-5
335		 1e-7
369		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.7e4 (2e4)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.9e4 (3e4)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 5.6e4 (7e4)∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 4.9 (2)6.6 (2)6.2 (2)5.9 (2)5.6 (1)5.6 (1)5.5 (1.0)15/15
DTS-CMA-ES Pitra 2.6 (1)★1.9 (0.6)★41.5 (0.3)★41.4 (0.2)★41.4 (0.2)★41.3 (0.2)★41.3 (0.2)★415/15
EvoSpace-PSO-GA Garcia-Valdez 41 (38)304 (397)644 (676)1153 (618)2855 (2607)7033 (1e4)6498 (5851)2/15
KL-BIPOP-CMA-ES Yamaguchi 6.5 (3)9.3 (12)7.7 (7)7.2 (6)6.8 (5)6.7 (5)6.6 (5)15/15
KL-IPOP-CMA-ES Yamaguchi 6.6 (2)7.3 (2)6.6 (2)6.3 (2)6.0 (1)5.9 (1)5.8 (1)15/15
KL-Restart-CMA-ES Yamaguchi 22 (4)19 (2)16 (1)15 (1)15 (1)15 (1.0)15 (0.9)15/15
Ord-H-DTS-CMA-ES Pitra 6.0 (6)∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 17 (15)∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 5.1 (2)58 (52)∞∞∞∞∞5010/15
SSEABC Aydin 9.0 (3)11 (11)9.0 (7)14 (6)15 (21)14 (18)13 (17)15/15

Δ fopt
f10, 5-D		 1e1
349		 1e0
500		 1e-1
574		 1e-2
607		 1e-3
626		 1e-5
829		 1e-7
880		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 2.1e6 (3e6)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.0e6 (1e6)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2.0e6 (3e6)∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 3.1 (0.9)2.7 (0.6)2.7 (0.3)2.7 (0.3)2.7 (0.3)2.2 (0.2)2.3 (0.2)15/15
DTS-CMA-ES Pitra 0.55 (0.2)★4↑00.48 (0.1)★4↑00.46 (0.1)★4↑00.46 (0.1)★4↑00.48 (0.1)★4↑00.41 (0.1)★4↑00.43 (0.1)★4↑015/15
EvoSpace-PSO-GA Garcia-Valdez 505 (588)854 (837)6370 (5598)6456 (8991)∞∞∞3e50/15
KL-BIPOP-CMA-ES Yamaguchi 3.7 (1)2.9 (0.8)2.8 (0.3)2.8 (0.3)2.9 (0.3)2.3 (0.2)2.4 (0.2)15/15
KL-IPOP-CMA-ES Yamaguchi 3.3 (0.8)3.0 (0.4)2.8 (0.3)2.8 (0.3)2.9 (0.3)2.4 (0.2)2.4 (0.2)15/15
KL-Restart-CMA-ES Yamaguchi 4.7 (0.5)3.9 (0.4)4.0 (0.5)4.2 (0.4)4.5 (0.5)4.1 (0.2)4.5 (0.2)15/15
Ord-H-DTS-CMA-ES Pitra 21 (17)∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 11 (11)15 (14)∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
SSEABC Aydin 3.5 (1)3.1 (0.7)3.0 (0.5)3.0 (0.5)3.1 (0.3)2.5 (0.2)2.5 (0.3)15/15

Δ fopt
f11, 5-D		 1e1
143		 1e0
202		 1e-1
763		 1e-2
977		 1e-3
1177		 1e-5
1467		 1e-7
1673		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 444 (498)3.6e4 (5e4)9.5e5 (1e6)∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 311 (338)4.2e4 (3e4)∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 664 (769)7.3e4 (4e4)∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 7.8 (2)6.9 (1)2.1 (0.3)1.7 (0.2)1.5 (0.2)1.3 (0.1)1.2 (0.1)15/15
DTS-CMA-ES Pitra 1.2 (0.5)★31.1 (0.4)★40.32 (0.1)★4↑00.27 (0.1)★4↑00.24 (0.1)★4↑00.22 (0.0)★4↑00.22 (0.0)★4↑015/15
EvoSpace-PSO-GA Garcia-Valdez 151 (170)832 (534)454 (402)717 (838)1146 (845)∞∞4e50/15
KL-BIPOP-CMA-ES Yamaguchi 9.1 (2)7.3 (1)2.1 (0.2)1.8 (0.1)1.5 (0.1)1.4 (0.1)1.3 (0.1)15/15
KL-IPOP-CMA-ES Yamaguchi 8.5 (2)7.2 (2)2.2 (0.4)1.8 (0.3)1.6 (0.2)1.4 (0.2)1.3 (0.1)15/15
KL-Restart-CMA-ES Yamaguchi 8.2 (2)7.8 (1.0)2.5 (0.2)2.2 (0.2)2.1 (0.1)2.1 (0.1)2.2 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 52 (44)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 16 (20)∞∞∞∞∞∞5020/15
SSEABC Aydin 8.5 (0.8)7.2 (0.7)2.1 (0.2)1.8 (0.1)1.6 (0.1)1.4 (0.1)1.3 (0.1)15/15

Δ fopt
f12, 5-D		 1e1
108		 1e0
268		 1e-1
371		 1e-2
413		 1e-3
461		 1e-5
1303		 1e-7
1494		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 8.0 (7)5.1 (5)5.9 (4)6.3 (3)6.6 (3)3.1 (1)3.2 (2)15/15
DTS-CMA-ES Pitra 26 (35)12 (16)9.1 (14)11 (14)10 (14)3.7 (3)3.3 (7)9/15
EvoSpace-PSO-GA Garcia-Valdez 288 (465)497 (486)1806 (1954)1630 (1090)3119 (2876)∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 11 (6)7.6 (8)7.5 (7)7.6 (6)7.6 (6)3.3 (2)3.3 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 11 (11)8.4 (9)8.7 (8)8.8 (8)8.8 (7)3.9 (3)3.8 (3)15/15
KL-Restart-CMA-ES Yamaguchi 18 (4)10 (5)10 (4)11 (4)12 (4)5.5 (2)5.7 (3)15/15
Ord-H-DTS-CMA-ES Pitra 8.7 (9)14 (9)∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 7.2 (5)9.2 (10)20 (17)∞∞∞∞5010/15
SSEABC Aydin 7.2 (8)7.4 (13)11 (9)13 (9)17 (27)8.3 (10)11 (18)12/15

Δ fopt
f13, 5-D		 1e1
132		 1e0
195		 1e-1
250		 1e-2
319		 1e-3
1310		 1e-5
1752		 1e-7
2255		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 5.7e6 (1e7)∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 2.7 (0.7)4.4 (3)5.9 (2)5.4 (2)1.5 (0.3)1.5 (0.2)1.6 (0.2)15/15
DTS-CMA-ES Pitra 3.8 (0.9)3.0 (0.6)2.7 (0.6)2.2 (0.4)0.60 (0.1)↑10.53 (0.1)↑10.48 (0.1)↑114/15
EvoSpace-PSO-GA Garcia-Valdez 142 (71)1147 (1050)∞∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 3.2 (2)3.7 (1)5.2 (2)5.0 (1)1.5 (0.4)1.5 (0.3)1.7 (0.7)14/15
KL-IPOP-CMA-ES Yamaguchi 4.7 (3)4.5 (2)5.1 (2)5.0 (1)1.5 (0.5)1.6 (0.3)1.6 (0.6)15/15
KL-Restart-CMA-ES Yamaguchi 8.2 (1)8.3 (0.4)8.7 (0.4)8.4 (0.4)2.5 (0.1)2.4 (0.1)2.4 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra 7.8 (8)38 (51)∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 5.2 (5)∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 3.8 (3)7.0 (5)30 (38)∞∞∞∞5010/15
SSEABC Aydin 3.8 (2)5.9 (3)6.5 (3)6.7 (2)1.9 (0.4)1.8 (0.4)1.8 (0.2)15/15

Δ fopt
f14, 5-D		 1e1
10		 1e0
41		 1e-1
58		 1e-2
90		 1e-3
139		 1e-5
251		 1e-7
476		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 0.97 (1)88 (88)3.8e4 (4e4)8.3e6 (1e7)∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.7 (2)86 (137)5.8e4 (8e4)8.1e6 (1e7)∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 1.7 (2)190 (311)1.2e5 (8e4)∞∞∞∞5e70/15
CMAES-APOP Nguyen 0.64 (0.7)1.8 (1)3.2 (0.5)3.5 (0.8)4.4 (1)5.0 (1)4.2 (0.5)15/15
DTS-CMA-ES Pitra 1.7 (1)1.3 (0.4)1.5 (0.3)★21.4 (0.3)★31.3 (0.2)★41.2 (0.1)★40.89 (0.1)★415/15
EvoSpace-PSO-GA Garcia-Valdez 17 (10)11 (5)23 (13)108 (61)137 (38)681 (540)∞3e50/15
KL-BIPOP-CMA-ES Yamaguchi 1.9 (2)2.7 (1)3.9 (1)3.9 (1)4.4 (0.7)5.1 (0.5)4.2 (0.5)15/15
KL-IPOP-CMA-ES Yamaguchi 2.3 (2)3.2 (2)4.1 (2)4.3 (1)5.0 (1)5.4 (0.9)4.5 (0.8)15/15
KL-Restart-CMA-ES Yamaguchi 4.0 (5)10 (4)13 (3)12 (2)11 (2)10 (0.8)6.7 (0.5)15/15
Ord-H-DTS-CMA-ES Pitra 1.2 (1)2.2 (1)6.0 (6)19 (20)53 (50)∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 1.6 (1)2.2 (2)4.0 (2)19 (18)27 (32)∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 2.2 (2)1.5 (0.6)2.5 (1)8.7 (10)26 (29)∞∞5010/15
SSEABC Aydin 3.0 (4)3.7 (0.8)4.4 (1)4.4 (0.7)4.8 (0.7)5.7 (0.5)4.6 (0.4)15/15

Δ fopt
f15, 5-D		 1e1
511		 1e0
9310		 1e-1
19369		 1e-2
19743		 1e-3
20073		 1e-5
20769		 1e-7
21359		 #succ
14/15
RANDOMSEARCH-4-1e7D Brockhoff 4443 (5291)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 4586 (5663)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 7112 (6348)∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 1.5 (0.7)1.2 (0.3)0.66 (0.2)↑10.70 (0.2)↑10.73 (0.2)↑10.77 (0.2)0.80 (0.2)15/15
DTS-CMA-ES Pitra 0.37 (0.5)★28.0 (8)∞∞∞∞∞50040/15
EvoSpace-PSO-GA Garcia-Valdez 31 (25)∞∞∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 2.1 (2)1.7 (1)1.6 (0.9)1.6 (0.9)1.6 (0.9)1.6 (0.9)1.6 (0.9)15/15
KL-IPOP-CMA-ES Yamaguchi 0.91 (0.2)0.89 (0.5)0.69 (0.3)↑00.70 (0.3)↑00.70 (0.3)↑00.71 (0.3)↑00.72 (0.3)↑015/15
KL-Restart-CMA-ES Yamaguchi 2.9 (1)0.46 (0.4)↑10.53 (0.6)0.54 (0.5)0.54 (0.5)0.55 (0.5)0.56 (0.5)15/15
Ord-H-DTS-CMA-ES Pitra 4.6 (4)∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 3.3 (5)∞∞∞∞∞∞5020/15
SSEABC Aydin 1.2 (0.3)0.93 (0.7)1.0 (0.9)1.1 (0.9)1.7 (1)7.9 (10)10 (7)1/15

Δ fopt
f16, 5-D		 1e1
120		 1e0
612		 1e-1
2662		 1e-2
10163		 1e-3
10449		 1e-5
11644		 1e-7
12095		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 4.7 (6)535 (519)3.8e4 (5e4)∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2.2 (2)597 (676)4.5e4 (5e4)∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 3.2 (4)428 (528)5.9e4 (5e4)∞∞∞∞5e70/15
CMAES-APOP Nguyen 2.0 (2)34 (64)34 (39)9.5 (10)14 (25)13 (21)13 (22)13/15
DTS-CMA-ES Pitra 2.1 (3)6.5 (8)8.1 (6)3.4 (4)3.3 (4)3.0 (3)2.9 (4)2/15
EvoSpace-PSO-GA Garcia-Valdez 1.8 (1)19 (15)26 (38)22 (21)54 (41)51 (58)78 (92)2/15
KL-BIPOP-CMA-ES Yamaguchi 2.1 (2)2.5 (2)1.5 (2)0.93 (1)0.95 (1)0.97 (0.9)0.96 (0.9)15/15
KL-IPOP-CMA-ES Yamaguchi 2.2 (3)2.1 (2)1.2 (0.7)0.51 (0.7)0.65 (0.7)0.62 (0.7)0.62 (0.7)15/15
KL-Restart-CMA-ES Yamaguchi 2.8 (4)4.7 (2)2.3 (2)1.1 (1)1.1 (1)1.0 (1)1.0 (1)15/15
Ord-H-DTS-CMA-ES Pitra 2.6 (3)∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 1.9 (2)∞∞∞∞∞∞5030/15
Ord-Q-DTS-CMA-ES Pitra 3.7 (5)∞∞∞∞∞∞5020/15
SSEABC Aydin 2.8 (2)2.0 (3)4.1 (5)1.4 (1)1.9 (2)3.8 (4)18 (18)3/15

Δ fopt
f17, 5-D		 1e1
5.0		 1e0
215		 1e-1
899		 1e-2
2861		 1e-3
3669		 1e-5
6351		 1e-7
7934		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.7 (2)289 (267)∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.7 (2)671 (852)∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 6.2 (4)957 (1441)∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 1.7 (2)0.95 (0.5)1.3 (3)1.1 (1)1.6 (1)1.4 (0.9)1.6 (0.3)15/15
DTS-CMA-ES Pitra 4.4 (3)0.69 (0.9)1.3 (1)0.63 (0.6)0.69 (0.5)1.3 (0.9)1.7 (2)5/15
EvoSpace-PSO-GA Garcia-Valdez 36 (2)10 (16)23 (11)30 (45)45 (34)80 (63)101 (79)0/15
KL-BIPOP-CMA-ES Yamaguchi 4.9 (5)1.0 (0.3)1.9 (3)22 (3)155 (345)368 (429)602 (889)9/15
KL-IPOP-CMA-ES Yamaguchi 3.5 (6)0.86 (0.2)0.49 (0.2)↑00.59 (0.7)341 (682)690 (787)1734 (2364)4/15
KL-Restart-CMA-ES Yamaguchi 8.8 (11)3.1 (0.7)1.5 (0.1)0.77 (0.1)↑00.80 (0.1)↑00.71 (0.0)↑00.75 (0.0)↑015/15
Ord-H-DTS-CMA-ES Pitra 5.7 (7)2.3 (1)∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 3.5 (3)2.5 (2)∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 3.7 (3)1.6 (2)1.9 (3)∞∞∞∞5010/15
SSEABC Aydin 4.4 (5)1.1 (0.3)1.4 (2)1.2 (1)1.2 (1)20 (20)90 (77)1/15

Δ fopt
f18, 5-D		 1e1
103		 1e0
378		 1e-1
3968		 1e-2
8451		 1e-3
9280		 1e-5
10905		 1e-7
12469		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 8.2 (10)7.8e4 (8e4)∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 6.6 (6)7.4e4 (5e4)∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 16 (27)1.2e5 (1e5)∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 0.73 (0.6)0.80 (0.3)0.67 (0.8)0.82 (0.5)0.99 (0.2)1.2 (0.2)1.2 (0.3)15/15
DTS-CMA-ES Pitra 0.60 (0.3)↑01.4 (1)0.46 (0.5)0.41 (0.3)0.49 (0.5)0.80 (0.5)1.9 (1)3/15
EvoSpace-PSO-GA Garcia-Valdez 2.9 (1)35 (30)47 (46)182 (168)∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 1.2 (0.6)2.6 (4)0.70 (0.8)1.1 (1)6.7 (11)18 (17)46 (73)14/15
KL-IPOP-CMA-ES Yamaguchi 1.2 (0.7)2.4 (4)0.64 (0.9)56 (91)51 (84)83 (230)159 (233)11/15
KL-Restart-CMA-ES Yamaguchi 3.3 (2)2.7 (0.6)0.46 (0.0)↑00.32 (0.0)↑00.37 (0.0)↑00.47 (0.0)↑029 (0.0)14/15
Ord-H-DTS-CMA-ES Pitra 1.4 (0.8)19 (19)∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 1.5 (1)19 (14)∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 1.2 (1)6.0 (8)∞∞∞∞∞5020/15
SSEABC Aydin 1.5 (0.6)2.2 (4)0.89 (0.8)0.89 (0.5)1.4 (1)21 (22)29 (28)2/15

Δ fopt
f19, 5-D		 1e1
1		 1e0
1		 1e-1
242		 1e-2
1.0e5		 1e-3
1.2e5		 1e-5
1.2e5		 1e-7
1.2e5		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 25 (29)5.1e4 (7e4)1.5e6 (2e6)∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 16 (13)6.2e4 (7e4)6.7e5 (6e5)∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 34 (42)1.6e5 (2e5)3.0e6 (4e6)∞∞∞∞5e70/15
CMAES-APOP Nguyen 1 (0)★21 (0)★490 (59)0.41 (0.1)↑00.40 (0.1)↑00.43 (0.1)↑00.45 (0.1)↑015/15
DTS-CMA-ES Pitra 24 (18)1054 (1982)136 (144)∞∞∞∞50010/15
EvoSpace-PSO-GA Garcia-Valdez 159 (54)1.1e4 (1e4)3921 (2657)∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 23 (16)2110 (2058)1001 (1173)5.1 (2)4.6 (2)4.6 (2)4.6 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 16 (16)1.3e4 (6930)406 (397)2.5 (1)2.3 (1)2.3 (1)2.3 (1)15/15
KL-Restart-CMA-ES Yamaguchi 43 (41)1384 (706)305 (608)1.8 (2)2.6 (3)2.6 (3)2.6 (3)15/15
Ord-H-DTS-CMA-ES Pitra 24 (15)3579 (4004)∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 21 (18)3587 (4334)∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 25 (18)2197 (1894)∞∞∞∞∞5020/15
SSEABC Aydin 47 (46)2379 (2546)158 (144)3.4 (4)6.0 (5)6.0 (4)5.9 (7)0/15

Δ fopt
f20, 5-D		 1e1
16		 1e0
851		 1e-1
38111		 1e-2
51362		 1e-3
54470		 1e-5
54861		 1e-7
55313		 #succ
14/15
RANDOMSEARCH-4-1e7D Brockhoff 8.4 (9)3014 (3963)∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 16 (15)6891 (6705)∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 24 (26)9011 (9578)∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 1.5 (2)16 (7)1.1 (0.8)0.88 (0.6)0.89 (0.6)0.93 (0.6)0.97 (0.6)15/15
DTS-CMA-ES Pitra 2.0 (0.3)24 (31)∞∞∞∞∞50060/15
EvoSpace-PSO-GA Garcia-Valdez 12 (6)11 (9)6.2 (7)4.8 (6)4.6 (6)4.8 (5)4.9 (4)5/15
KL-BIPOP-CMA-ES Yamaguchi 2.7 (2)15 (13)2.6 (0.8)1.9 (0.6)1.9 (0.6)1.9 (0.6)1.9 (0.6)15/15
KL-IPOP-CMA-ES Yamaguchi 3.4 (2)8.9 (11)1.9 (1)1.4 (1)1.4 (1)1.4 (1)1.5 (1)15/15
KL-Restart-CMA-ES Yamaguchi 12 (10)8.1 (5)4.3 (4)3.2 (3)3.0 (3)3.0 (3)3.0 (3)15/15
Ord-H-DTS-CMA-ES Pitra 2.6 (1)∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 2.7 (2)∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 2.7 (1.0)∞∞∞∞∞∞5010/15
SSEABC Aydin 6.9 (2)12 (13)18 (22)14 (15)13 (13)13 (17)13 (18)1/15

Δ fopt
f21, 5-D		 1e1
41		 1e0
1157		 1e-1
1674		 1e-2
1692		 1e-3
1705		 1e-5
1729		 1e-7
1757		 #succ
14/15
RANDOMSEARCH-4-1e7D Brockhoff 2.0 (3)8.0 (8)105 (137)1501 (2127)1.2e4 (2e4)∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 4.6 (4)12 (9)168 (202)2298 (2240)3.5e4 (4e4)∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 4.9 (5)19 (20)175 (200)2549 (2452)2.6e4 (2e4)∞∞5e70/15
CMAES-APOP Nguyen 1.8 (2)11 (26)27 (19)27 (19)29 (22)28 (22)28 (22)14/15
DTS-CMA-ES Pitra 4.5 (1)5.2 (7)4.6 (5)4.6 (5)4.6 (7)5.6 (7)5.5 (10)5/15
EvoSpace-PSO-GA Garcia-Valdez 4.8 (4)23 (43)32 (35)34 (39)36 (45)40 (35)42 (33)11/15
KL-BIPOP-CMA-ES Yamaguchi 1.2 (0.5)6.1 (8)10 (13)10 (13)10 (13)10 (13)10 (13)15/15
KL-IPOP-CMA-ES Yamaguchi 1.7 (1)38 (65)129 (300)129 (298)129 (297)128 (293)128 (290)15/15
KL-Restart-CMA-ES Yamaguchi 3.8 (3)3.6 (4)5.6 (7)5.6 (7)5.7 (7)5.8 (7)5.9 (7)15/15
Ord-H-DTS-CMA-ES Pitra 3.4 (3)1.5 (2)4.3 (5)4.3 (5)4.3 (3)4.3 (5)∞5010/15
Ord-N-DTS-CMA-ES Pitra 4.8 (6)2.9 (4)2.1 (3)2.1 (2)2.2 (2)4.3 (4)4.3 (6)1/15
Ord-Q-DTS-CMA-ES Pitra 3.4 (3)1.4 (2)1.0 (1)4.2 (5)4.2 (6)4.2 (3)4.2 (5)1/15
SSEABC Aydin 2.1 (1)5.0 (5)13 (17)13 (17)13 (16)13 (14)15 (17)12/15

Δ fopt
f22, 5-D		 1e1
71		 1e0
386		 1e-1
938		 1e-2
980		 1e-3
1008		 1e-5
1040		 1e-7
1068		 #succ
14/15
RANDOMSEARCH-4-1e7D Brockhoff 3.8 (4)39 (49)284 (422)1985 (2500)2.3e4 (2e4)∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 3.1 (3)42 (65)239 (212)6586 (6180)6.6e4 (8e4)∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 5.7 (5)50 (48)372 (332)5337 (7977)1.2e5 (2e5)∞∞5e70/15
CMAES-APOP Nguyen 6.6 (11)43 (59)253 (286)441 (644)430 (503)418 (488)407 (407)9/15
DTS-CMA-ES Pitra 5.9 (5)13 (16)32 (27)31 (30)30 (65)29 (23)28 (25)2/15
EvoSpace-PSO-GA Garcia-Valdez 4.9 (4)34 (17)53 (83)58 (90)66 (78)83 (79)98 (50)11/15
KL-BIPOP-CMA-ES Yamaguchi 5.3 (8)9.2 (9)26 (47)25 (47)25 (46)25 (47)25 (49)15/15
KL-IPOP-CMA-ES Yamaguchi 1.5 (0.9)57 (93)113 (168)132 (252)134 (247)133 (241)132 (238)15/15
KL-Restart-CMA-ES Yamaguchi 7.7 (3)11 (14)25 (30)26 (29)26 (28)25 (27)25 (27)15/15
Ord-H-DTS-CMA-ES Pitra 3.5 (4)3.0 (5)4.0 (5)∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 2.4 (2)10 (9)∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 3.2 (4)4.0 (5)7.8 (10)7.6 (6)7.4 (7)7.2 (6)∞5010/15
SSEABC Aydin 3.2 (1.0)40 (73)51 (49)60 (56)68 (62)81 (149)93 (72)6/15

Δ fopt
f23, 5-D		 1e1
3.0		 1e0
518		 1e-1
14249		 1e-2
27890		 1e-3
31654		 1e-5
33030		 1e-7
34256		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 2.0 (2)51 (39)∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2.7 (4)56 (60)∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2.3 (2)39 (31)∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 2.4 (2)24 (49)493 (493)∞∞∞∞5e50/15
DTS-CMA-ES Pitra 1.9 (2)11 (19)∞∞∞∞∞50070/15
EvoSpace-PSO-GA Garcia-Valdez 36 (33)23 (20)15 (17)18 (24)17 (13)18 (10)19 (17)3/15
KL-BIPOP-CMA-ES Yamaguchi 2.1 (2)13 (12)5.5 (4)3.7 (3)3.4 (3)3.5 (3)3.4 (3)15/15
KL-IPOP-CMA-ES Yamaguchi 2.6 (2)8.9 (7)4.3 (5)3.2 (7)2.8 (6)2.8 (6)2.7 (5)15/15
KL-Restart-CMA-ES Yamaguchi 3.4 (5)25 (25)4.0 (3)2.5 (2)2.2 (2)2.1 (2)2.1 (2)15/15
Ord-H-DTS-CMA-ES Pitra 2.0 (2)∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 2.6 (2)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 2.6 (3)∞∞∞∞∞∞5010/15
SSEABC Aydin 2.6 (3)10 (12)6.1 (6)25 (27)22 (23)21 (20)21 (25)1/15

Δ fopt
f24, 5-D		 1e1
1622		 1e0
2.2e5		 1e-1
6.4e6		 1e-2
9.6e6		 1e-3
9.6e6		 1e-5
1.3e7		 1e-7
1.3e7		 #succ
3/15
RANDOMSEARCH-4-1e7D Brockhoff 502 (571)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1718 (2165)∞∞∞∞∞∞5e70/15
RANDOMSEARCH-5-1e7D Brockhoff 2515 (2974)∞∞∞∞∞∞5e70/15
CMAES-APOP Nguyen 2.4 (4)34 (38)∞∞∞∞∞5e50/15
DTS-CMA-ES Pitra 6.8 (8)∞∞∞∞∞∞50020/15
EvoSpace-PSO-GA Garcia-Valdez 25 (25)7.4 (9)∞∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 1.9 (1)6.3 (8)3.5 (3)∞∞∞∞5e60/15
KL-IPOP-CMA-ES Yamaguchi 2.2 (1)64 (69)∞∞∞∞∞5e60/15
KL-Restart-CMA-ES Yamaguchi 2.3 (2)1.1 (2)2.6 (2)7.4 (10)7.3 (5)5.5 (6)5.5 (5)1/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
SSEABC Aydin 2.8 (2)∞∞∞∞∞∞5e40/15

Previous dimension | Dimension = 10 | Next dimension

Δ fopt
f1, 10-D		 1e1
22		 1e0
23		 1e-1
23		 1e-2
23		 1e-3
23		 1e-5
23		 1e-7
23		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 673 (1122)8.3e6 (8e6)∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 813 (729)6.5e7 (7e7)∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 1155 (1105)∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 3.8 (2)10 (2)16 (1)23 (2)29 (3)41 (3)54 (4)15/15
DTS-CMA-ES Pitra 3.5 (0.6)5.5 (0.7)★37.3 (0.9)★410 (1)★412 (0.7)★416 (0.7)★420 (0.7)★415/15
EvoSpace-PSO-GA Garcia-Valdez 28 (9)84 (21)159 (38)265 (63)1070 (658)2564 (402)3652 (644)15/15
KL-BIPOP-CMA-ES Yamaguchi 5.9 (2)12 (2)18 (3)24 (3)30 (3)44 (4)57 (4)15/15
KL-IPOP-CMA-ES Yamaguchi 5.5 (2)12 (3)19 (4)25 (3)32 (3)45 (4)58 (5)15/15
KL-Restart-CMA-ES Yamaguchi 39 (8)72 (12)104 (10)138 (11)171 (11)235 (14)306 (17)15/15
Ord-H-DTS-CMA-ES Pitra 4.2 (1)10 (4)21 (10)41 (36)74 (77)∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 4.5 (0.9)10 (6)21 (8)39 (26)633 (621)∞∞10020/15
Ord-Q-DTS-CMA-ES Pitra 4.0 (1)8.2 (3)18 (8)36 (25)70 (44)∞∞10020/15
SSEABC Aydin 8.2 (0.9)14 (1.0)20 (2)28 (2)34 (3)47 (4)61 (5)15/15

Δ fopt
f2, 10-D		 1e1
187		 1e0
190		 1e-1
191		 1e-2
191		 1e-3
193		 1e-5
194		 1e-7
195		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 21 (4)23 (3)25 (2)25 (2)26 (2)28 (2)29 (2)15/15
DTS-CMA-ES Pitra 4.6 (1)★35.5 (0.7)5.8 (0.6)6.2 (0.6)6.5 (0.5)7.0 (0.4)7.5 (0.4)15/15
EvoSpace-PSO-GA Garcia-Valdez 184 (101)248 (13)327 (98)442 (74)511 (100)669 (76)821 (104)15/15
KL-BIPOP-CMA-ES Yamaguchi 20 (6)23 (4)26 (2)27 (2)28 (2)29 (2)30 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 21 (3)23 (4)25 (3)27 (2)27 (1)29 (2)30 (1)15/15
KL-Restart-CMA-ES Yamaguchi 30 (4)34 (4)38 (3)42 (4)46 (4)53 (4)61 (4)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/11
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
SSEABC Aydin 22 (3)26 (3)29 (3)30 (2)31 (3)32 (3)34 (3)15/15

Δ fopt
f3, 10-D		 1e1
1739		 1e0
3600		 1e-1
3609		 1e-2
3636		 1e-3
3642		 1e-5
3646		 1e-7
3651		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 12 (11)119 (81)364 (455)362 (305)362 (392)362 (452)362 (281)8/15
DTS-CMA-ES Pitra 6.5 (8)∞∞∞∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 3.4 (1)11 (4)19 (7)25 (8)31 (6)41 (6)49 (6)15/15
KL-BIPOP-CMA-ES Yamaguchi 3.2 (2)297 (509)2369 (3517)2352 (2338)2349 (3673)2347 (2331)2344 (3608)11/15
KL-IPOP-CMA-ES Yamaguchi 3.1 (3)7656 (9723)3.9e4 (8e4)3.9e4 (6e4)3.8e4 (5e4)3.8e4 (7e4)3.8e4 (5e4)1/15
KL-Restart-CMA-ES Yamaguchi 4.5 (0.9)48 (38)638 (744)634 (739)633 (738)632 (737)632 (736)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/6
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
SSEABC Aydin 4.6 (2)398 (618)∞∞∞∞∞1e50/15

Δ fopt
f4, 10-D		 1e1
2234		 1e0
3626		 1e-1
3660		 1e-2
3695		 1e-3
3707		 1e-5
3744		 1e-7
28767		 #succ
12/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 11 (2)∞∞∞∞∞∞1e60/15
DTS-CMA-ES Pitra 64 (76)∞∞∞∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 2.1 (0.8)12 (8)21 (9)29 (8)35 (8)47 (11)7.6 (1)15/15
KL-BIPOP-CMA-ES Yamaguchi 6.1 (3)∞∞∞∞∞∞1e70/15
KL-IPOP-CMA-ES Yamaguchi 6.7 (4)∞∞∞∞∞∞1e70/15
KL-Restart-CMA-ES Yamaguchi 6.7 (4)∞∞∞∞∞∞1e70/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/8
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
SSEABC Aydin 9.3 (6)∞∞∞∞∞∞1e50/15

Δ fopt
f5, 10-D		 1e1
20		 1e0
20		 1e-1
20		 1e-2
20		 1e-3
20		 1e-5
20		 1e-7
20		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 4.8 (2)6.1 (3)6.3 (2)6.3 (3)6.3 (3)6.3 (3)6.3 (3)15/15
DTS-CMA-ES Pitra 5.2 (1)7.4 (1)8.6 (2)8.7 (2)9.0 (2)9.2 (2)9.2 (2)15/15
EvoSpace-PSO-GA Garcia-Valdez 98 (25)192 (73)226 (79)230 (74)230 (74)230 (74)230 (74)15/15
KL-BIPOP-CMA-ES Yamaguchi 4.7 (1)6.0 (1)6.2 (2)6.2 (2)6.2 (2)6.2 (2)6.2 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 5.3 (1)6.7 (1)6.7 (1)6.7 (1)6.7 (1)6.7 (1)6.7 (1)15/15
KL-Restart-CMA-ES Yamaguchi 19 (6)25 (4)25 (4)25 (4)25 (4)25 (4)25 (4)15/15
Ord-H-DTS-CMA-ES Pitra 5.7 (2)11 (5)15 (9)15 (10)15 (10)15 (10)15 (10)15/15
Ord-N-DTS-CMA-ES Pitra 5.1 (3)14 (8)15 (8)15 (8)15 (8)15 (8)15 (8)15/15
Ord-Q-DTS-CMA-ES Pitra 4.9 (2)15 (9)16 (9)17 (9)17 (9)17 (9)17 (9)15/15
SSEABC Aydin 13 (4)39 (21)60 (25)76 (25)92 (32)120 (37)142 (45)15/15

Δ fopt
f6, 10-D		 1e1
412		 1e0
623		 1e-1
826		 1e-2
1039		 1e-3
1292		 1e-5
1841		 1e-7
2370		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.1e6 (1e6)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 1.8 (0.4)1.8 (0.3)1.8 (0.3)1.9 (0.4)1.8 (0.3)1.7 (0.2)1.7 (0.2)15/15
DTS-CMA-ES Pitra 344 (510)∞∞∞∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 21 (13)68 (46)120 (41)146 (42)167 (39)176 (33)187 (32)15/15
KL-BIPOP-CMA-ES Yamaguchi 1.7 (0.4)1.8 (0.3)1.8 (0.2)1.8 (0.2)1.8 (0.2)1.7 (0.2)1.6 (0.1)15/15
KL-IPOP-CMA-ES Yamaguchi 1.8 (0.5)1.8 (0.5)1.9 (0.4)1.8 (0.3)1.8 (0.3)1.7 (0.2)1.6 (0.2)15/15
KL-Restart-CMA-ES Yamaguchi 14 (3)12 (2)12 (2)11 (1)11 (0.9)10 (0.6)9.1 (0.6)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/3
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
SSEABC Aydin 1.6 (0.3)1.8 (0.3)1.9 (0.3)1.9 (0.3)1.8 (0.3)1.7 (0.2)1.7 (0.2)15/15

Δ fopt
f7, 10-D		 1e1
172		 1e0
1611		 1e-1
4195		 1e-2
5099		 1e-3
5141		 1e-5
5141		 1e-7
5389		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 2.9e4 (3e4)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 4.5e4 (5e4)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 5.6e4 (4e4)∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 2.3 (1)2.5 (2)1.9 (0.1)2.0 (0.2)2.0 (0.2)2.0 (0.2)2.0 (0.1)15/15
DTS-CMA-ES Pitra 1.1 (0.2)★20.83 (0.7)0.56 (0.3)↑00.66 (0.4)0.91 (0.9)0.91 (0.9)1.2 (1)10/15
EvoSpace-PSO-GA Garcia-Valdez 32 (47)54 (39)94 (59)122 (68)126 (108)126 (116)120 (81)4/15
KL-BIPOP-CMA-ES Yamaguchi 2.4 (0.6)2.0 (2)1.6 (1)1.6 (1)1.6 (1)1.6 (1)1.6 (1.0)15/15
KL-IPOP-CMA-ES Yamaguchi 2.5 (0.5)1.3 (1)1.2 (0.4)1.1 (0.4)1.1 (0.4)1.1 (0.4)1.1 (0.4)15/15
KL-Restart-CMA-ES Yamaguchi 9.0 (1)1.6 (0.2)0.83 (0.1)↑00.88 (0.1)↑00.89 (0.1)↑00.89 (0.1)↑00.85 (0.1)↑015/15
Ord-H-DTS-CMA-ES Pitra 10 (10)∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 12 (18)∞∞∞∞∞∞10020/11
Ord-Q-DTS-CMA-ES Pitra 5.1 (5)9.0 (10)∞∞∞∞∞10020/15
SSEABC Aydin 2.7 (0.7)1.4 (1)1.4 (1)1.2 (1)1.2 (1)1.2 (1)1.2 (1)15/15

Δ fopt
f8, 10-D		 1e1
326		 1e0
921		 1e-1
1114		 1e-2
1217		 1e-3
1267		 1e-5
1315		 1e-7
1343		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 2.6 (2)6.6 (2)6.6 (1)6.5 (1)6.5 (1)6.7 (1)6.8 (1)15/15
DTS-CMA-ES Pitra 0.81 (0.2)★31.3 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.3 (0.2)1.4 (0.1)15/15
EvoSpace-PSO-GA Garcia-Valdez 56 (59)340 (227)527 (232)2925 (2943)4476 (3001)∞∞8e50/15
KL-BIPOP-CMA-ES Yamaguchi 2.3 (0.7)5.2 (4)5.2 (4)5.1 (3)5.2 (3)5.3 (3)5.5 (3)15/15
KL-IPOP-CMA-ES Yamaguchi 2.6 (1)5.8 (3)5.7 (3)5.6 (3)5.6 (3)5.7 (3)5.9 (3)15/15
KL-Restart-CMA-ES Yamaguchi 11 (0.8)13 (0.6)13 (0.5)13 (0.5)13 (0.5)14 (0.5)15 (0.6)15/15
Ord-H-DTS-CMA-ES Pitra 5.6 (5)∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 19 (21)∞∞∞∞∞∞10020/13
Ord-Q-DTS-CMA-ES Pitra 2.8 (2)∞∞∞∞∞∞10020/15
SSEABC Aydin 2.5 (0.8)12 (15)11 (12)10 (11)10 (11)10 (10)10 (10)15/15

Δ fopt
f9, 10-D		 1e1
200		 1e0
648		 1e-1
857		 1e-2
993		 1e-3
1065		 1e-5
1138		 1e-7
1185		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 3.0 (0.6)8.8 (1)8.0 (1)7.5 (0.9)7.3 (0.8)7.2 (0.8)7.2 (0.8)15/15
DTS-CMA-ES Pitra 1.4 (0.3)1.8 (0.3)1.6 (0.2)1.5 (0.2)1.5 (0.2)1.5 (0.2)1.5 (0.2)15/15
EvoSpace-PSO-GA Garcia-Valdez 169 (146)1113 (606)∞∞∞∞∞7e50/15
KL-BIPOP-CMA-ES Yamaguchi 3.3 (0.8)7.5 (5)6.9 (4)6.4 (4)6.3 (3)6.2 (3)6.3 (3)15/15
KL-IPOP-CMA-ES Yamaguchi 3.0 (0.5)6.6 (1)6.1 (0.9)5.7 (0.8)5.6 (0.7)5.6 (0.7)5.7 (0.7)15/15
KL-Restart-CMA-ES Yamaguchi 17 (2)18 (1)17 (1)16 (1.0)16 (1.0)16 (0.8)17 (0.8)15/15
Ord-H-DTS-CMA-ES Pitra 17 (14)∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 15 (16)∞∞∞∞∞∞10020/3
Ord-Q-DTS-CMA-ES Pitra 14 (16)∞∞∞∞∞∞10020/15
SSEABC Aydin 4.2 (0.8)12 (19)10 (15)9.2 (13)8.9 (12)8.6 (11)8.6 (11)15/15

Δ fopt
f10, 10-D		 1e1
1835		 1e0
2172		 1e-1
2455		 1e-2
2728		 1e-3
2802		 1e-5
4543		 1e-7
4739		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 2.0 (0.4)2.0 (0.2)1.9 (0.1)1.8 (0.1)1.8 (0.1)1.2 (0.1)1.2 (0.1)15/15
DTS-CMA-ES Pitra 0.49 (0.1)★2↑00.49 (0.1)↑00.47 (0.1)↑00.46 (0.0)↑00.46 (0.0)↑00.31 (0.0)↑00.32 (0.0)↑015/15
EvoSpace-PSO-GA Garcia-Valdez ∞∞∞∞∞∞∞6e50/15
KL-BIPOP-CMA-ES Yamaguchi 2.0 (0.3)2.0 (0.3)2.0 (0.3)1.9 (0.1)1.9 (0.1)1.2 (0.1)1.3 (0.1)15/15
KL-IPOP-CMA-ES Yamaguchi 2.1 (0.5)2.0 (0.2)2.0 (0.1)1.9 (0.1)1.9 (0.2)1.2 (0.1)1.2 (0.1)15/15
KL-Restart-CMA-ES Yamaguchi 2.9 (0.2)3.0 (0.3)3.0 (0.2)3.0 (0.2)3.2 (0.2)2.3 (0.1)2.5 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/9
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
SSEABC Aydin 2.1 (0.5)2.2 (0.4)2.1 (0.3)2.0 (0.2)2.1 (0.1)1.3 (0.1)1.4 (0.1)15/15

Δ fopt
f11, 10-D		 1e1
266		 1e0
1041		 1e-1
2602		 1e-2
2954		 1e-3
3338		 1e-5
4092		 1e-7
4843		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 7.7e4 (9e4)1.4e6 (1e6)∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 6.9e4 (9e4)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 2.2e5 (2e5)∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 13 (2)3.9 (0.3)1.7 (0.1)1.6 (0.1)1.4 (0.1)1.3 (0.1)1.2 (0.1)15/15
DTS-CMA-ES Pitra 2.8 (0.8)★30.83 (0.2)★30.37 (0.1)★3↑00.35 (0.1)↑00.33 (0.1)↑00.30 (0.0)↑00.27 (0.0)↑015/15
EvoSpace-PSO-GA Garcia-Valdez 711 (439)705 (276)4409 (3929)∞∞∞∞8e50/15
KL-BIPOP-CMA-ES Yamaguchi 13 (1)3.8 (0.4)1.7 (0.2)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.2 (0.1)15/15
KL-IPOP-CMA-ES Yamaguchi 13 (2)3.9 (0.5)1.7 (0.1)1.6 (0.1)1.5 (0.1)1.3 (0.1)1.2 (0.1)15/15
KL-Restart-CMA-ES Yamaguchi 15 (2)4.8 (0.3)2.3 (0.1)2.3 (0.2)2.2 (0.1)2.2 (0.1)2.2 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/14
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
SSEABC Aydin 13 (1)3.9 (0.3)1.7 (0.1)1.6 (0.1)1.5 (0.1)1.3 (0.0)1.2 (0.0)15/15

Δ fopt
f12, 10-D		 1e1
515		 1e0
896		 1e-1
1240		 1e-2
1390		 1e-3
1569		 1e-5
3660		 1e-7
5154		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 3.1 (4)4.1 (5)4.8 (4)5.2 (3)5.4 (3)3.0 (1)2.4 (1)15/15
DTS-CMA-ES Pitra 1.2 (0.6)★21.1 (0.5)★1.2 (0.6)1.3 (0.4)1.4 (0.4)0.80 (0.2)0.67 (0.2)↑015/15
EvoSpace-PSO-GA Garcia-Valdez 243 (114)584 (617)∞∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 3.0 (2)4.4 (3)4.7 (4)5.2 (3)5.4 (3)3.0 (1)2.4 (0.8)15/15
KL-IPOP-CMA-ES Yamaguchi 5.1 (4)6.2 (5)6.3 (3)6.4 (3)6.4 (3)3.3 (1)2.7 (0.9)15/15
KL-Restart-CMA-ES Yamaguchi 13 (3)10 (5)10 (6)11 (6)12 (5)6.8 (3)5.7 (2)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-Q-DTS-CMA-ES Pitra 10 (6)8.4 (8)∞∞∞∞∞10020/15
SSEABC Aydin 3.4 (2)4.3 (4)5.0 (6)5.4 (5)6.6 (5)7.9 (11)10 (10)10/15

Δ fopt
f13, 10-D		 1e1
387		 1e0
596		 1e-1
797		 1e-2
1014		 1e-3
4587		 1e-5
6208		 1e-7
7779		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 3.5 (3)5.2 (3)6.0 (3)6.5 (9)1.7 (2)2.2 (2)2.9 (2)15/15
DTS-CMA-ES Pitra 1.0 (0.3)★33.9 (9)3.6 (7)2.9 (5)0.68 (1)0.72 (0.9)0.62 (0.7)13/15
EvoSpace-PSO-GA Garcia-Valdez 166 (138)338 (273)1046 (1111)∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 2.4 (1)5.0 (3)4.8 (3)6.0 (3)1.5 (0.7)1.9 (0.8)94 (2)13/15
KL-IPOP-CMA-ES Yamaguchi 2.8 (1)5.0 (3)5.4 (3)5.3 (3)1.5 (0.8)1.8 (1)200 (643)11/15
KL-Restart-CMA-ES Yamaguchi 9.4 (0.6)8.8 (0.5)8.6 (0.5)8.4 (0.4)2.2 (0.1)2.2 (0.1)2.1 (0.0)15/15
Ord-H-DTS-CMA-ES Pitra 9.3 (7)∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/10
Ord-Q-DTS-CMA-ES Pitra 5.8 (4)∞∞∞∞∞∞10020/15
SSEABC Aydin 3.1 (3)4.8 (3)5.7 (3)6.8 (2)1.6 (0.4)2.6 (2)7.9 (11)5/15

Δ fopt
f14, 10-D		 1e1
37		 1e0
98		 1e-1
133		 1e-2
205		 1e-3
392		 1e-5
687		 1e-7
4305		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 14 (20)2.7e5 (2e5)∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 8.6 (8)2.9e5 (3e5)∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 14 (18)1.1e6 (1e6)∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 1.1 (1)2.3 (0.8)3.2 (0.8)3.7 (0.5)3.5 (0.7)5.0 (0.5)1.3 (0.1)15/15
DTS-CMA-ES Pitra 2.2 (0.7)1.7 (0.4)1.8 (0.3)★31.8 (0.3)★31.5 (0.3)★31.6 (0.3)0.36 (0.0)↑015/15
EvoSpace-PSO-GA Garcia-Valdez 11 (0.3)22 (7)34 (13)182 (35)254 (65)∞∞7e50/15
KL-BIPOP-CMA-ES Yamaguchi 1.9 (1)3.0 (0.7)3.7 (0.5)4.1 (0.6)4.0 (0.6)4.9 (0.6)1.3 (0.1)15/15
KL-IPOP-CMA-ES Yamaguchi 1.9 (1)2.9 (0.6)3.8 (0.5)4.1 (0.6)3.9 (0.7)5.2 (0.5)1.4 (0.1)15/15
KL-Restart-CMA-ES Yamaguchi 10 (11)17 (3)20 (2)19 (2)13 (1)11 (0.9)2.3 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra 2.2 (0.7)4.2 (2)11 (11)72 (90)∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 2.5 (0.5)4.0 (2)11 (8)∞∞∞∞10020/10
Ord-Q-DTS-CMA-ES Pitra 2.5 (0.7)3.1 (2)7.2 (4)24 (23)∞∞∞10020/15
SSEABC Aydin 3.4 (2)3.4 (0.6)4.0 (0.7)4.4 (0.7)3.9 (0.4)5.4 (0.7)1.5 (0.1)15/15

Δ fopt
f15, 10-D		 1e1
4774		 1e0
39246		 1e-1
73643		 1e-2
74669		 1e-3
75790		 1e-5
77814		 1e-7
79834		 #succ
12/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 3.3 (3)0.72 (0.2)↑00.50 (0.2)↑10.51 (0.2)↑10.52 (0.2)↑10.53 (0.2)↑10.53 (0.2)↑115/15
DTS-CMA-ES Pitra 2.1 (3)∞∞∞∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 318 (507)∞∞∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 0.96 (0.5)1.7 (0.8)1.3 (0.6)1.3 (0.6)1.3 (0.6)1.3 (0.6)1.3 (0.5)15/15
KL-IPOP-CMA-ES Yamaguchi 1.1 (1)0.95 (0.7)0.70 (0.3)↑10.71 (0.3)↑10.71 (0.3)↑10.72 (0.3)↑10.73 (0.3)15/15
KL-Restart-CMA-ES Yamaguchi 1.5 (0.3)0.59 (0.4)0.66 (0.5)0.66 (0.5)0.66 (0.5)0.66 (0.4)0.66 (0.4)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/14
Ord-Q-DTS-CMA-ES Pitra 3.1 (4)∞∞∞∞∞∞10020/15
SSEABC Aydin 1.00 (0.7)12 (10)∞∞∞∞∞1e50/15

Δ fopt
f16, 10-D		 1e1
425		 1e0
7029		 1e-1
15779		 1e-2
45669		 1e-3
51151		 1e-5
65798		 1e-7
71570		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 46 (39)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 76 (81)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 71 (76)∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 2.9 (2)28 (40)16 (17)5.9 (6)5.3 (5)4.2 (4)3.9 (4)15/15
DTS-CMA-ES Pitra 3.3 (4)6.3 (9)9.1 (10)3.2 (4)∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 11 (17)22 (20)136 (165)∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 2.6 (1)1.2 (1)1.9 (2)1.0 (0.8)1.2 (1)1.0 (1)0.99 (0.9)15/15
KL-IPOP-CMA-ES Yamaguchi 2.7 (2)0.88 (0.9)1.00 (1)1.1 (1)1.0 (0.9)0.90 (0.7)0.86 (0.7)15/15
KL-Restart-CMA-ES Yamaguchi 15 (10)1.3 (0.6)0.99 (0.9)0.46 (0.6)0.61 (0.7)0.52 (0.6)0.50 (0.5)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10030/15
Ord-N-DTS-CMA-ES Pitra 15 (17)∞∞∞∞∞∞10020/14
Ord-Q-DTS-CMA-ES Pitra 16 (18)∞∞∞∞∞∞10030/15
SSEABC Aydin 2.3 (1)0.92 (2)2.1 (3)2.9 (4)6.2 (5)10 (18)20 (20)1/15

Δ fopt
f17, 10-D		 1e1
26		 1e0
429		 1e-1
2203		 1e-2
6329		 1e-3
9851		 1e-5
20190		 1e-7
26503		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 2.0 (2)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 3.0 (3)3.4e6 (5e6)∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 6.1 (6)∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 0.86 (1)0.86 (0.2)0.85 (0.2)↑11.7 (1)2.0 (1)1.4 (0.3)1.2 (0.3)15/15
DTS-CMA-ES Pitra 2.2 (1)0.87 (0.2)↑11.2 (1)1.2 (1)1.5 (1)∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 13 (4)49 (51)91 (76)86 (62)∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 2.4 (2)1.1 (0.3)0.59 (0.1)↑10.74 (0.7)56 (52)444 (335)646 (670)6/15
KL-IPOP-CMA-ES Yamaguchi 2.3 (1)1.1 (0.3)0.96 (1)0.89 (0.8)0.79 (0.6)1363 (1239)1510 (1227)3/15
KL-Restart-CMA-ES Yamaguchi 7.9 (9)5.2 (1)2.0 (0.2)1.0 (0.1)0.87 (0.1)↑00.66 (0.0)↑00.66 (0.0)↑015/15
Ord-H-DTS-CMA-ES Pitra 2.1 (2)17 (19)∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 2.2 (1)10 (11)∞∞∞∞∞10020/14
Ord-Q-DTS-CMA-ES Pitra 2.0 (1)4.8 (5)∞∞∞∞∞10010/15
SSEABC Aydin 2.5 (3)1.3 (0.6)0.73 (0.2)↑11.5 (1)7.2 (10)74 (79)∞1e50/15

Δ fopt
f18, 10-D		 1e1
238		 1e0
836		 1e-1
7012		 1e-2
15928		 1e-3
27536		 1e-5
37234		 1e-7
42708		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1123 (1528)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1770 (2093)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 5253 (7265)∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 0.89 (0.2)2.1 (0.4)1.6 (1)1.4 (0.1)0.93 (0.1)0.89 (0.2)0.91 (0.2)15/15
DTS-CMA-ES Pitra 0.68 (0.3)↑12.0 (2)1.4 (1)9.4 (12)∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 5.4 (2)133 (99)285 (298)∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 0.93 (0.3)1.4 (0.4)0.77 (0.6)1.9 (2)19 (0.9)30 (95)27 (83)15/15
KL-IPOP-CMA-ES Yamaguchi 1.3 (0.5)3.0 (4)0.64 (0.5)46 (0.8)92 (182)68 (134)118 (234)10/15
KL-Restart-CMA-ES Yamaguchi 5.7 (2)4.2 (0.3)0.81 (0.1)↑00.50 (0.0)↑00.37 (0.0)↑00.41 (0.0)↑017 (0.0)14/15
Ord-H-DTS-CMA-ES Pitra 2.7 (3)∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 3.0 (4)∞∞∞∞∞∞10020/14
Ord-Q-DTS-CMA-ES Pitra 1.6 (1)8.9 (13)∞∞∞∞∞10020/15
SSEABC Aydin 1.5 (0.6)1.2 (0.5)1.3 (1)3.8 (4)53 (54)39 (56)35 (25)0/15

Δ fopt
f19, 10-D		 1e1
1		 1e0
1		 1e-1
10609		 1e-2
9.8e5		 1e-3
1.4e6		 1e-5
1.4e6		 1e-7
1.4e6		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 89 (104)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 396 (351)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 837 (1416)∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 1 (0)★41 (0)★410 (2)0.22 (0.1)↑00.20 (0.2)↑00.21 (0.2)↑00.21 (0.2)↑015/15
DTS-CMA-ES Pitra 77 (9)8832 (9190)∞∞∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 398 (198)2.4e5 (2e5)∞∞∞∞∞2e50/15
KL-BIPOP-CMA-ES Yamaguchi 62 (38)9703 (7371)81 (95)2.5 (2)2.1 (1)2.1 (1)2.1 (1)15/15
KL-IPOP-CMA-ES Yamaguchi 58 (33)4.6e4 (4e4)34 (31)1.1 (0.5)0.84 (0.3)0.84 (0.3)0.84 (0.3)15/15
KL-Restart-CMA-ES Yamaguchi 274 (326)1.3e4 (6502)7.7 (9)4.2 (4)14 (11)14 (16)14 (12)6/15
Ord-H-DTS-CMA-ES Pitra 67 (29)∞∞∞∞∞∞10030/15
Ord-N-DTS-CMA-ES Pitra 60 (46)∞∞∞∞∞∞10020/15
Ord-Q-DTS-CMA-ES Pitra 74 (24)∞∞∞∞∞∞10020/15
SSEABC Aydin 180 (25)2.3e4 (3e4)31 (22)0.70 (0.6)1.0 (1)1.0 (1)1.0 (0.7)1/15

Δ fopt
f20, 10-D		 1e1
32		 1e0
15426		 1e-1
5.5e5		 1e-2
5.7e5		 1e-3
5.7e5		 1e-5
5.8e5		 1e-7
5.9e5		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 786 (764)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1800 (1990)∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 8415 (1e4)∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 3.2 (1)5.2 (2)0.46 (0.4)0.47 (0.4)↑10.48 (0.4)↑10.48 (0.4)↑10.48 (0.4)↑115/15
DTS-CMA-ES Pitra 2.7 (0.3)∞∞∞∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 30 (13)1.6 (2)5.3 (6)5.1 (5)5.2 (6)5.1 (7)5.2 (5)1/15
KL-BIPOP-CMA-ES Yamaguchi 4.8 (2)3.3 (2)1.2 (0.7)1.2 (0.7)1.2 (0.7)1.2 (0.7)1.2 (0.7)15/15
KL-IPOP-CMA-ES Yamaguchi 5.0 (2)2.1 (1)1.0 (0.4)1.1 (0.4)1.1 (0.4)1.1 (0.4)1.1 (0.4)15/15
KL-Restart-CMA-ES Yamaguchi 27 (13)2.6 (2)60 (60)58 (51)57 (70)56 (93)56 (79)4/15
Ord-H-DTS-CMA-ES Pitra 4.4 (2)∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 4.2 (2)∞∞∞∞∞∞10020/15
Ord-Q-DTS-CMA-ES Pitra 4.0 (1)∞∞∞∞∞∞10020/15
SSEABC Aydin 8.4 (2)12 (12)∞∞∞∞∞1e50/15

Δ fopt
f21, 10-D		 1e1
130		 1e0
2236		 1e-1
4392		 1e-2
4487		 1e-3
4618		 1e-5
5074		 1e-7
11329		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 242 (268)1.1e4 (1e4)∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 450 (463)3.2e4 (3e4)∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 942 (960)3.2e4 (3e4)∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 3.4 (2)160 (340)112 (120)110 (121)107 (211)98 (154)44 (55)11/15
DTS-CMA-ES Pitra 4.5 (0.4)9.1 (17)15 (16)15 (17)14 (16)13 (15)5.8 (6)2/15
EvoSpace-PSO-GA Garcia-Valdez 11 (3)24 (26)19 (20)21 (28)24 (24)26 (34)15 (11)9/15
KL-BIPOP-CMA-ES Yamaguchi 4.5 (9)12 (8)18 (25)17 (25)17 (24)15 (22)7.0 (10)15/15
KL-IPOP-CMA-ES Yamaguchi 6.3 (10)36 (22)149 (177)147 (174)143 (169)131 (155)59 (70)15/15
KL-Restart-CMA-ES Yamaguchi 16 (6)11 (18)16 (23)15 (22)15 (22)14 (20)6.3 (9)15/15
Ord-H-DTS-CMA-ES Pitra 3.2 (4)3.2 (5)3.3 (2)3.2 (4)3.2 (4)∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 3.1 (4)∞∞∞∞∞∞10020/13
Ord-Q-DTS-CMA-ES Pitra 6.4 (5)6.5 (6)3.4 (4)∞∞∞∞10020/15
SSEABC Aydin 7.9 (15)13 (11)17 (16)16 (15)16 (23)15 (16)7.7 (6)10/15

Δ fopt
f22, 10-D		 1e1
98		 1e0
2839		 1e-1
6353		 1e-2
6620		 1e-3
6798		 1e-5
8296		 1e-7
10351		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1105 (1682)8669 (9769)∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1331 (1256)2.3e4 (2e4)∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 2473 (4368)3.5e4 (5e4)∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 34 (22)456 (673)2254 (2361)2163 (2379)2107 (3420)1727 (2682)1384 (1715)1/15
DTS-CMA-ES Pitra 118 (127)49 (53)22 (35)21 (27)21 (22)17 (29)14 (15)1/15
EvoSpace-PSO-GA Garcia-Valdez 23 (20)29 (35)55 (55)56 (72)60 (51)61 (54)59 (50)4/15
KL-BIPOP-CMA-ES Yamaguchi 16 (26)11 (11)14 (15)13 (15)13 (15)11 (12)8.8 (10)15/15
KL-IPOP-CMA-ES Yamaguchi 18 (30)164 (318)158 (184)152 (176)148 (172)122 (141)99 (114)15/15
KL-Restart-CMA-ES Yamaguchi 39 (54)184 (149)333 (480)319 (460)311 (448)255 (367)204 (294)14/15
Ord-H-DTS-CMA-ES Pitra 15 (17)2.5 (3)∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra 10 (13)4.7 (5)∞∞∞∞∞10020/14
Ord-Q-DTS-CMA-ES Pitra 7.5 (6)5.1 (6)∞∞∞∞∞10020/15
SSEABC Aydin 26 (61)35 (42)∞∞∞∞∞1e50/15

Δ fopt
f23, 10-D		 1e1
3.0		 1e0
915		 1e-1
16425		 1e-2
1.8e5		 1e-3
2.0e5		 1e-5
2.1e5		 1e-7
2.1e5		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 2.0 (3)545 (888)∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2.8 (4)557 (489)∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff 1.8 (2)553 (598)∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 2.3 (2)176 (362)∞∞∞∞∞1e60/15
DTS-CMA-ES Pitra 1.4 (1)162 (136)∞∞∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez 77 (66)49 (37)192 (131)∞∞∞∞2e50/15
KL-BIPOP-CMA-ES Yamaguchi 1.5 (2)15 (15)11 (13)17 (19)17 (22)16 (21)16 (21)14/15
KL-IPOP-CMA-ES Yamaguchi 3.1 (3)23 (19)9.4 (13)32 (36)29 (27)28 (45)28 (36)11/15
KL-Restart-CMA-ES Yamaguchi 2.2 (2)78 (38)16 (16)6.2 (9)6.1 (7)6.0 (7)5.9 (7)15/15
Ord-H-DTS-CMA-ES Pitra 1.8 (2)∞∞∞∞∞∞10030/15
Ord-N-DTS-CMA-ES Pitra 1.4 (1)∞∞∞∞∞∞10020/15
Ord-Q-DTS-CMA-ES Pitra 2.4 (2)∞∞∞∞∞∞10030/15
SSEABC Aydin 1.5 (2)39 (76)27 (25)∞∞∞∞1e50/15

Δ fopt
f24, 10-D		 1e1
98761		 1e0
1.0e6		 1e-1
7.5e7		 1e-2
7.5e7		 1e-3
7.5e7		 1e-5
7.5e7		 1e-7
7.5e7		 #succ
1/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞1e80/15
CMAES-APOP Nguyen 151 (119)∞∞∞∞∞∞1e60/15
DTS-CMA-ES Pitra ∞∞∞∞∞∞∞1e40/15
EvoSpace-PSO-GA Garcia-Valdez ∞∞∞∞∞∞∞1e50/15
KL-BIPOP-CMA-ES Yamaguchi 3.9 (6)13 (27)0.94 (1)0.94 (0.9)0.94 (1)0.94 (0.8)0.94 (0.9)2/15
KL-IPOP-CMA-ES Yamaguchi 203 (228)135 (309)∞∞∞∞∞1e70/15
KL-Restart-CMA-ES Yamaguchi 15 (16)6.6 (7)∞∞∞∞∞1e70/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/14
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10020/15
SSEABC Aydin ∞∞∞∞∞∞∞1e50/15

Previous dimension | Dimension = 20 | Next dimension

Δ fopt
f1, 20-D		 1e1
43		 1e0
43		 1e-1
43		 1e-2
43		 1e-3
43		 1e-5
43		 1e-7
43		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 6.3 (1)12 (1)18 (2)24 (2)31 (2)43 (4)56 (4)15/15
DTS-CMA-ES Pitra 4.5 (0.3)★37.1 (0.6)★410 (0.6)★413 (0.8)15 (0.8)21 (1)27 (0.8)15/15
EvoSpace-PSO-GA Garcia-Valdez 46 (11)105 (18)189 (18)950 (195)1972 (480)5040 (701)8034 (768)15/15
KL-BIPOP-CMA-ES Yamaguchi 8.0 (2)14 (2)20 (2)26 (2)32 (3)46 (3)58 (4)15/15
KL-IPOP-CMA-ES Yamaguchi 7.2 (1.0)14 (1)20 (2)27 (2)33 (2)46 (2)59 (2)15/15
KL-Restart-CMA-ES Yamaguchi 75 (14)121 (10)165 (11)210 (13)249 (12)338 (18)427 (27)15/15
Ord-H-DTS-CMA-ES Pitra 6.9 (3)86 (79)∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 6.5 (1)43 (35)∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 8.6 (1)15 (2)21 (1)264 (305)∞∞∞10100/45
SSEABC Aydin 9.4 (1)16 (1)22 (2)28 (2)34 (2)48 (2)61 (3)15/15

Δ fopt
f2, 20-D		 1e1
385		 1e0
386		 1e-1
387		 1e-2
388		 1e-3
390		 1e-5
391		 1e-7
393		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 33 (5)39 (4)43 (4)45 (3)46 (3)47 (2)49 (2)15/15
DTS-CMA-ES Pitra 14 (1)17 (2)19 (2)20 (1)20 (1)21 (1)21 (1)15/15
EvoSpace-PSO-GA Garcia-Valdez 278 (67)439 (79)622 (76)805 (76)971 (93)1343 (116)1709 (125)15/15
KL-BIPOP-CMA-ES Yamaguchi 35 (3)41 (2)43 (3)45 (2)46 (1)48 (1)49 (1)15/15
KL-IPOP-CMA-ES Yamaguchi 36 (4)42 (5)44 (3)46 (2)46 (2)48 (2)49 (2)15/15
KL-Restart-CMA-ES Yamaguchi 51 (5)58 (3)64 (3)69 (3)74 (3)83 (3)93 (3)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 37 (6)44 (6)52 (4)101 (67)242 (192)1031 (1119)∞2e50/15

Δ fopt
f3, 20-D		 1e1
5066		 1e0
7626		 1e-1
7635		 1e-2
7637		 1e-3
7643		 1e-5
7646		 1e-7
7651		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 24 (3)∞∞∞∞∞∞2e60/15
DTS-CMA-ES Pitra ∞∞∞∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 9.1 (8)17 (7)30 (7)40 (7)50 (7)69 (6)88 (8)15/15
KL-BIPOP-CMA-ES Yamaguchi 17 (12)∞∞∞∞∞∞2e70/15
KL-IPOP-CMA-ES Yamaguchi 13 (16)∞∞∞∞∞∞2e70/15
KL-Restart-CMA-ES Yamaguchi 7.5 (5)1.1e4 (1e4)∞∞∞∞∞2e70/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 28 (35)∞∞∞∞∞∞2e50/15

Δ fopt
f4, 20-D		 1e1
4722		 1e0
7628		 1e-1
7666		 1e-2
7686		 1e-3
7700		 1e-5
7758		 1e-7
1.4e5		 #succ
9/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen ∞∞∞∞∞∞∞2e60/15
DTS-CMA-ES Pitra ∞∞∞∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 8.5 (2)20 (7)34 (8)49 (9)63 (8)90 (8)6.4 (0.4)15/15
KL-BIPOP-CMA-ES Yamaguchi 2.0e4 (2e4)∞∞∞∞∞∞2e70/15
KL-IPOP-CMA-ES Yamaguchi ∞∞∞∞∞∞∞2e70/15
KL-Restart-CMA-ES Yamaguchi 5352 (5576)∞∞∞∞∞∞2e70/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin ∞∞∞∞∞∞∞2e50/15

Δ fopt
f5, 20-D		 1e1
41		 1e0
41		 1e-1
41		 1e-2
41		 1e-3
41		 1e-5
41		 1e-7
41		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 5.1 (0.6)6.3 (1)6.6 (1)6.6 (1)6.6 (1)6.6 (1)6.6 (1)15/15
DTS-CMA-ES Pitra 6.1 (1)8.2 (1)9.4 (1)10 (2)10 (2)10 (2)10 (2)15/15
EvoSpace-PSO-GA Garcia-Valdez 134 (28)284 (218)326 (230)329 (233)329 (233)329 (233)329 (233)15/15
KL-BIPOP-CMA-ES Yamaguchi 5.7 (1)6.6 (2)6.8 (2)6.9 (2)6.9 (2)6.9 (2)6.9 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 5.4 (1)6.3 (0.7)6.4 (0.8)6.4 (0.8)6.4 (0.8)6.4 (0.8)6.4 (0.8)15/15
KL-Restart-CMA-ES Yamaguchi 31 (8)34 (6)34 (6)34 (6)34 (6)34 (6)34 (6)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 89 (76)∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 17 (6)70 (62)155 (136)218 (208)218 (318)218 (257)218 (269)5/45
SSEABC Aydin 25 (9)74 (34)107 (53)145 (98)190 (110)245 (123)282 (135)15/15

Δ fopt
f6, 20-D		 1e1
1296		 1e0
2343		 1e-1
3413		 1e-2
4255		 1e-3
5220		 1e-5
6728		 1e-7
8409		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 1.6 (0.3)1.3 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)1.1 (0.2)15/15
DTS-CMA-ES Pitra 68 (77)∞∞∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 39 (22)118 (71)180 (70)225 (62)244 (58)776 (657)∞2e60/15
KL-BIPOP-CMA-ES Yamaguchi 1.6 (0.2)1.2 (0.2)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.2 (0.1)1.2 (0.1)15/15
KL-IPOP-CMA-ES Yamaguchi 1.7 (0.2)1.3 (0.2)1.2 (0.2)1.2 (0.2)1.1 (0.1)1.2 (0.1)1.2 (0.1)15/15
KL-Restart-CMA-ES Yamaguchi 28 (5)18 (3)14 (2)12 (2)11 (1)10 (1)10 (1)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 1.3 (0.2)1.2 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)1.1 (0.1)15/15

Δ fopt
f7, 20-D		 1e1
1351		 1e0
4274		 1e-1
9503		 1e-2
16523		 1e-3
16524		 1e-5
16524		 1e-7
16969		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 1.4 (0.3)4.9 (0.2)2.4 (0.1)1.6 (0.1)1.6 (0.1)1.6 (0.1)1.5 (0.1)15/15
DTS-CMA-ES Pitra 1.3 (0.9)1.6 (0.7)1.1 (0.6)0.80 (0.4)0.93 (0.7)0.93 (0.6)1.1 (0.7)9/15
EvoSpace-PSO-GA Garcia-Valdez 189 (179)3480 (3276)∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 1.5 (1)5.8 (3)4.5 (1)2.7 (0.6)2.7 (0.6)2.7 (0.6)2.6 (0.6)15/15
KL-IPOP-CMA-ES Yamaguchi 1.8 (2)4.1 (1)2.6 (0.8)1.6 (0.4)1.6 (0.4)1.6 (0.4)1.6 (0.4)15/15
KL-Restart-CMA-ES Yamaguchi 4.2 (0.3)2.0 (0.1)1.2 (0.1)0.81 (0.0)↑00.81 (0.1)↑00.81 (0.1)↑00.79 (0.0)↑015/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 3.7 (3)∞∞∞∞∞∞10100/45
SSEABC Aydin 0.94 (0.2)5.0 (3)3.4 (0.5)2.1 (0.4)2.1 (0.3)2.1 (0.3)2.1 (0.3)15/15

Δ fopt
f8, 20-D		 1e1
2039		 1e0
3871		 1e-1
4040		 1e-2
4148		 1e-3
4219		 1e-5
4371		 1e-7
4484		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 3.6 (0.6)6.5 (0.4)7.0 (0.4)7.1 (0.4)7.2 (0.4)7.2 (0.4)7.3 (0.4)15/15
DTS-CMA-ES Pitra 2.0 (0.6)2.1 (0.4)2.2 (0.4)2.3 (0.3)2.3 (0.3)2.3 (0.3)2.3 (0.3)14/15
EvoSpace-PSO-GA Garcia-Valdez 379 (385)2559 (2781)2592 (2008)5428 (5062)∞∞∞2e60/15
KL-BIPOP-CMA-ES Yamaguchi 3.9 (0.9)4.9 (4)5.2 (3)5.3 (3)5.4 (3)5.4 (3)5.4 (3)15/15
KL-IPOP-CMA-ES Yamaguchi 3.7 (0.9)4.0 (0.5)4.3 (0.5)4.4 (0.5)4.5 (0.5)4.5 (0.5)4.6 (0.5)15/15
KL-Restart-CMA-ES Yamaguchi 15 (0.9)14 (0.5)15 (0.5)15 (0.5)16 (0.5)16 (0.4)16 (0.4)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 4.1 (1)5.7 (6)5.9 (6)8.4 (6)12 (18)34 (37)68 (89)7/15

Δ fopt
f9, 20-D		 1e1
1716		 1e0
3102		 1e-1
3277		 1e-2
3379		 1e-3
3455		 1e-5
3594		 1e-7
3727		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 4.0 (1.0)4.6 (0.6)5.0 (0.7)5.1 (0.7)5.2 (0.7)5.2 (0.6)5.2 (0.6)15/15
DTS-CMA-ES Pitra 2.3 (0.6)2.4 (0.3)2.6 (0.3)2.7 (0.3)2.7 (0.3)2.7 (0.2)2.7 (0.2)15/15
EvoSpace-PSO-GA Garcia-Valdez ∞∞∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 5.2 (2)5.9 (1)6.2 (1)6.3 (1)6.4 (1)6.4 (1)6.3 (1)15/15
KL-IPOP-CMA-ES Yamaguchi 5.1 (1)7.3 (4)7.5 (4)7.6 (4)7.6 (4)7.6 (4)7.5 (4)15/15
KL-Restart-CMA-ES Yamaguchi 18 (1)17 (0.5)18 (0.5)19 (0.5)19 (0.4)19 (0.4)20 (0.4)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 4.6 (0.9)6.1 (0.7)6.5 (0.6)12 (8)17 (15)38 (49)70 (84)4/15

Δ fopt
f10, 20-D		 1e1
7413		 1e0
8661		 1e-1
10735		 1e-2
13641		 1e-3
14920		 1e-5
17073		 1e-7
17476		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 1.8 (0.2)1.8 (0.1)1.6 (0.1)1.3 (0.0)1.2 (0.0)1.1 (0.0)1.1 (0.0)15/15
DTS-CMA-ES Pitra 0.84 (0.2)0.82 (0.2)0.72 (0.1)↑00.59 (0.1)↑00.56 (0.1)↑00.50 (0.0)↑00.51 (0.0)↑015/15
EvoSpace-PSO-GA Garcia-Valdez ∞∞∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 1.8 (0.3)1.8 (0.2)1.6 (0.1)1.3 (0.1)1.2 (0.0)1.1 (0.0)1.1 (0.0)15/15
KL-IPOP-CMA-ES Yamaguchi 1.8 (0.2)1.8 (0.2)1.6 (0.1)1.3 (0.1)1.2 (0.1)1.1 (0.1)1.1 (0.0)15/15
KL-Restart-CMA-ES Yamaguchi 2.8 (0.2)2.7 (0.2)2.4 (0.1)2.0 (0.1)2.0 (0.1)2.0 (0.1)2.1 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 1.8 (0.3)1.9 (0.3)1.7 (0.1)1.7 (0.8)3.7 (2)13 (10)80 (79)0/15

Δ fopt
f11, 20-D		 1e1
1002		 1e0
2228		 1e-1
6278		 1e-2
8586		 1e-3
9762		 1e-5
12285		 1e-7
14831		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 10 (0.9)5.0 (0.3)1.9 (0.1)1.5 (0.1)1.4 (0.0)1.2 (0.0)1.0 (0.0)15/15
DTS-CMA-ES Pitra 3.3 (0.3)1.8 (0.2)0.73 (0.1)↑00.58 (0.1)↑00.55 (0.1)↑00.48 (0.1)↑00.43 (0.0)↑015/15
EvoSpace-PSO-GA Garcia-Valdez 1320 (329)∞∞∞∞∞∞2e60/15
KL-BIPOP-CMA-ES Yamaguchi 10 (0.6)5.2 (0.2)2.0 (0.1)1.5 (0.0)1.4 (0.0)1.2 (0.0)1.0 (0.0)15/15
KL-IPOP-CMA-ES Yamaguchi 10 (0.8)5.1 (0.3)1.9 (0.1)1.5 (0.1)1.4 (0.1)1.2 (0.0)1.0 (0.0)15/15
KL-Restart-CMA-ES Yamaguchi 13 (1)7.0 (0.4)2.8 (0.2)2.3 (0.1)2.2 (0.1)2.1 (0.1)2.0 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 10 (0.8)5.0 (0.2)1.9 (0.1)1.5 (0.0)1.4 (0.0)1.2 (0.0)1.0 (0.0)15/15

Δ fopt
f12, 20-D		 1e1
1042		 1e0
1938		 1e-1
2740		 1e-2
3156		 1e-3
4140		 1e-5
12407		 1e-7
13827		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 2.6 (2)3.2 (3)4.5 (2)4.9 (2)4.4 (2)1.9 (0.6)2.0 (0.6)15/15
DTS-CMA-ES Pitra 1.3 (0.5)1.4 (1)1.7 (1)1.8 (1)1.8 (1.0)0.83 (0.3)0.90 (0.3)15/15
EvoSpace-PSO-GA Garcia-Valdez 271 (28)634 (652)1169 (1461)4641 (4595)∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 3.8 (4)4.0 (3)4.2 (3)4.7 (2)4.2 (2)1.8 (0.6)1.9 (0.6)15/15
KL-IPOP-CMA-ES Yamaguchi 3.1 (3)3.9 (3)4.2 (3)4.5 (2)4.1 (2)1.8 (0.6)1.8 (0.6)15/15
KL-Restart-CMA-ES Yamaguchi 18 (5)12 (6)10 (5)11 (5)11 (3)4.9 (0.6)5.3 (0.6)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 2.6 (0.2)3.3 (2)3.9 (2)5.2 (2)6.0 (7)6.3 (6)19 (16)6/15

Δ fopt
f13, 20-D		 1e1
652		 1e0
2021		 1e-1
2751		 1e-2
3507		 1e-3
18749		 1e-5
24455		 1e-7
30201		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 8.3 (6)8.0 (8)8.8 (6)8.8 (6)2.8 (2)3.4 (2)3.3 (0.8)15/15
DTS-CMA-ES Pitra 2.0 (2)2.5 (2)2.8 (2)2.6 (1)0.59 (0.3)↑10.59 (0.4)0.69 (0.4)9/15
EvoSpace-PSO-GA Garcia-Valdez 519 (793)1173 (1982)2543 (2454)2051 (2340)398 (373)∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 3.9 (4)6.7 (6)6.3 (5)8.0 (4)2.6 (2)3.8 (3)105 (332)13/15
KL-IPOP-CMA-ES Yamaguchi 3.9 (4)6.4 (4)7.6 (6)7.6 (5)1.7 (1)2.0 (1)50 (1)14/15
KL-Restart-CMA-ES Yamaguchi 16 (1)7.2 (0.4)7.3 (1.0)7.8 (1)1.8 (0.1)1.7 (0.1)1.7 (0.1)13/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 4.0 (4)5.6 (3)22 (20)31 (35)15 (17)∞∞2e50/15

Δ fopt
f14, 20-D		 1e1
75		 1e0
239		 1e-1
304		 1e-2
451		 1e-3
932		 1e-5
1648		 1e-7
15661		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.4e4 (8092)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2.4e4 (4e4)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff 8.2e4 (9e4)∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 2.6 (0.9)2.5 (0.4)3.2 (0.4)4.0 (0.5)4.0 (0.6)6.0 (0.7)1.2 (0.1)15/15
DTS-CMA-ES Pitra 2.5 (0.7)1.5 (0.2)★41.8 (0.2)2.1 (0.3)1.9 (0.2)2.9 (0.2)0.56 (0.1)↑015/15
EvoSpace-PSO-GA Garcia-Valdez 17 (5)25 (8)67 (41)338 (93)789 (136)∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 3.4 (1)2.7 (0.6)3.5 (0.5)4.3 (0.6)4.1 (0.3)6.1 (0.6)1.2 (0.1)15/15
KL-IPOP-CMA-ES Yamaguchi 4.3 (2)3.0 (0.7)3.7 (0.7)4.6 (0.8)4.3 (0.4)6.1 (0.4)1.3 (0.5)15/15
KL-Restart-CMA-ES Yamaguchi 36 (7)23 (2)27 (3)25 (2)16 (1)14 (0.6)2.1 (0.1)15/15
Ord-H-DTS-CMA-ES Pitra 3.5 (1.0)∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 4.2 (1)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 4.0 (1)2.9 (0.5)7.0 (5)∞∞∞∞10100/45
SSEABC Aydin 5.2 (1)3.2 (0.4)4.0 (0.5)4.5 (0.5)4.3 (0.5)6.4 (0.7)3.8 (3)0/15

Δ fopt
f15, 20-D		 1e1
30378		 1e0
1.5e5		 1e-1
3.1e5		 1e-2
3.2e5		 1e-3
3.2e5		 1e-5
4.5e5		 1e-7
4.6e5		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 2.8 (0.4)0.61 (0.1)↑00.29 (0.0)↑00.29 (0.0)↑00.29 (0.0)↑00.21 (0.0)↑00.21 (0.0)↑015/15
DTS-CMA-ES Pitra ∞∞∞∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez ∞∞∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 1.3 (1)2.0 (0.7)1.2 (0.4)1.2 (0.4)1.2 (0.4)0.86 (0.3)0.86 (0.3)15/15
KL-IPOP-CMA-ES Yamaguchi 0.96 (0.6)0.95 (0.3)0.55 (0.3)↑00.56 (0.3)↑00.56 (0.3)↑00.42 (0.2)↑00.43 (0.2)↑015/15
KL-Restart-CMA-ES Yamaguchi 0.67 (0.1)↑11.7 (2)3.2 (3)3.1 (3)3.1 (3)2.2 (2)2.2 (2)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin 0.61 (0.1)↑1∞∞∞∞∞∞2e50/15

Δ fopt
f16, 20-D		 1e1
1384		 1e0
27265		 1e-1
77015		 1e-2
1.4e5		 1e-3
1.9e5		 1e-5
2.0e5		 1e-7
2.2e5		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 3.3e4 (3e4)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 7.4e4 (1e5)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff 4.6e4 (6e4)∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 22 (0.6)19 (20)8.1 (6)4.5 (3)3.4 (3)3.9 (3)3.5 (2)14/15
DTS-CMA-ES Pitra 0.41 (0.1)↑01.8 (2)3.7 (3)∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 10 (11)534 (459)∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 2.4 (0.8)1.1 (0.9)1.2 (0.6)1.1 (0.5)1.4 (1.0)1.9 (2)1.7 (2)15/15
KL-IPOP-CMA-ES Yamaguchi 2.4 (0.7)0.78 (0.6)0.97 (0.8)0.92 (0.7)1.0 (0.7)1.2 (0.8)1.2 (0.9)15/15
KL-Restart-CMA-ES Yamaguchi 17 (8)1.1 (0.4)0.67 (0.5)0.79 (1.0)1.2 (1)1.2 (1)1.1 (0.9)15/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 33 (45)∞∞∞∞∞∞10100/45
SSEABC Aydin 1.3 (0.3)0.40 (0.9)4.9 (4)∞∞∞∞2e50/15

Δ fopt
f17, 20-D		 1e1
63		 1e0
1030		 1e-1
4005		 1e-2
12242		 1e-3
30677		 1e-5
56288		 1e-7
80472		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 79 (102)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 44 (69)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff 78 (72)∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 1.3 (1)0.84 (0.2)1.3 (0.1)2.5 (2)1.6 (0.2)1.2 (0.2)0.97 (0.1)15/15
DTS-CMA-ES Pitra 2.0 (0.2)1.1 (2)2.0 (2)2.1 (3)4.9 (3)∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 8.2 (3)4175 (2655)∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 2.0 (1)0.94 (0.2)0.72 (0.2)↑11.1 (0.8)55 (51)295 (356)518 (559)5/15
KL-IPOP-CMA-ES Yamaguchi 2.6 (1)0.91 (0.1)0.98 (2)0.97 (0.6)47 (0.5)238 (355)285 (373)5/15
KL-Restart-CMA-ES Yamaguchi 20 (15)6.6 (0.9)2.9 (0.1)1.4 (0.1)0.73 (0.0)↑00.62 (0.0)↑00.55 (0.0)↑015/15
Ord-H-DTS-CMA-ES Pitra 2.3 (2)∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 2.4 (1)∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra 2.1 (1)1.6 (1)∞∞∞∞∞10100/45
SSEABC Aydin 3.1 (0.6)0.95 (0.2)1.3 (2)1.8 (2)16 (13)50 (42)∞2e50/15

Δ fopt
f18, 20-D		 1e1
621		 1e0
3972		 1e-1
19561		 1e-2
28555		 1e-3
67569		 1e-5
1.3e5		 1e-7
1.5e5		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 4.6e6 (4e6)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 0.88 (0.2)3.0 (5)1.8 (1)1.8 (0.2)0.85 (0.1)↑10.57 (0.1)↑00.62 (0.1)↑115/15
DTS-CMA-ES Pitra 0.57 (0.2)★2↑01.2 (1)1.8 (1)10 (13)∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 46 (58)3675 (3336)∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 1.0 (0.5)1.4 (2)0.98 (0.8)2.2 (2)1.8 (1)1.6 (0.6)1.6 (0.5)15/15
KL-IPOP-CMA-ES Yamaguchi 1.0 (0.5)0.73 (0.3)↑11.0 (0.5)1.2 (0.4)0.87 (0.4)24 (77)22 (68)13/15
KL-Restart-CMA-ES Yamaguchi 7.4 (1)2.5 (0.2)0.78 (0.0)↑00.74 (0.1)↑00.40 (0.0)↑05.2 (1)4.7 (1)15/15
Ord-H-DTS-CMA-ES Pitra 12 (14)∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 12 (16)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 1.1 (0.3)∞∞∞∞∞∞10100/45
SSEABC Aydin 1.1 (0.3)0.76 (0.2)↑11.1 (0.9)31 (28)20 (26)∞∞2e50/15

Δ fopt
f19, 20-D		 1e1
1		 1e0
1		 1e-1
3.4e5		 1e-2
4.7e6		 1e-3
6.2e6		 1e-5
6.7e6		 1e-7
6.7e6		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.1e4 (1e4)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 7.1e4 (6e4)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff 3.5e5 (4e5)∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 1 (0)★41 (0)★40.91 (0.1)0.40 (0.6)0.50 (0.5)0.91 (1.0)0.91 (1)4/15
DTS-CMA-ES Pitra 135 (24)4193 (6026)∞∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 859 (131)∞∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 167 (56)4.5e4 (2e4)7.6 (6)2.1 (1)3.6 (3)3.4 (3)3.4 (4)9/15
KL-IPOP-CMA-ES Yamaguchi 188 (92)3.2e4 (3e4)3.1 (5)0.85 (0.6)0.68 (0.5)0.66 (0.4)0.66 (0.4)15/15
KL-Restart-CMA-ES Yamaguchi 1767 (523)3.8e4 (6630)0.78 (0.9)62 (68)∞∞∞2e70/15
Ord-H-DTS-CMA-ES Pitra 193 (93)∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 185 (60)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 215 (68)∞∞∞∞∞∞10100/45
SSEABC Aydin 329 (76)4.7e4 (5e4)∞∞∞∞∞2e50/15

Δ fopt
f20, 20-D		 1e1
82		 1e0
46150		 1e-1
3.1e6		 1e-2
5.5e6		 1e-3
5.5e6		 1e-5
5.6e6		 1e-7
5.6e6		 #succ
14/15
RANDOMSEARCH-4-1e7D Brockhoff 3.3e6 (4e6)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 3.7 (1)12 (5)0.34 (0.2)↑00.46 (0.5)0.46 (0.4)0.46 (0.4)0.46 (0.5)9/15
DTS-CMA-ES Pitra 2.8 (0.6)∞∞∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 34 (15)1.3 (0.9)∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 5.1 (1)9.0 (3)1.1 (0.5)3.7 (3)3.6 (3)3.6 (4)3.6 (4)10/15
KL-IPOP-CMA-ES Yamaguchi 4.6 (0.9)4.6 (3)0.57 (0.1)↑00.73 (0.6)0.73 (0.6)0.73 (0.6)0.73 (0.6)15/15
KL-Restart-CMA-ES Yamaguchi 36 (6)44 (38)∞∞∞∞∞2e70/15
Ord-H-DTS-CMA-ES Pitra 4.9 (3)∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 4.2 (1)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 5.4 (1)∞∞∞∞∞∞10100/45
SSEABC Aydin 6.9 (1.0)62 (74)∞∞∞∞∞2e50/15

Δ fopt
f21, 20-D		 1e1
561		 1e0
6541		 1e-1
14103		 1e-2
14318		 1e-3
14643		 1e-5
15567		 1e-7
17589		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.2e6 (1e6)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 4.0 (12)229 (239)138 (164)136 (264)133 (206)125 (128)111 (202)8/15
DTS-CMA-ES Pitra 18 (27)12 (16)20 (18)20 (20)19 (11)18 (17)16 (16)1/15
EvoSpace-PSO-GA Garcia-Valdez 11 (9)83 (83)85 (109)85 (105)88 (107)92 (144)89 (62)7/15
KL-BIPOP-CMA-ES Yamaguchi 3.8 (4)10 (13)12 (20)12 (20)11 (20)11 (19)10 (16)15/15
KL-IPOP-CMA-ES Yamaguchi 5.7 (8)152 (275)157 (285)155 (281)151 (275)143 (259)127 (230)15/15
KL-Restart-CMA-ES Yamaguchi 29 (45)351 (595)165 (276)162 (272)159 (266)149 (250)132 (221)14/15
Ord-H-DTS-CMA-ES Pitra 2.4 (2)∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 1.2 (1)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 2.2 (2)6.9 (6)∞∞∞∞∞10100/45
SSEABC Aydin 4.6 (6)29 (31)203 (230)200 (217)195 (167)184 (148)163 (193)1/15

Δ fopt
f22, 20-D		 1e1
467		 1e0
5580		 1e-1
23491		 1e-2
24163		 1e-3
24948		 1e-5
26847		 1e-7
1.3e5		 #succ
12/15
RANDOMSEARCH-4-1e7D Brockhoff 3.0e6 (3e6)∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 82 (128)2342 (2240)∞∞∞∞∞2e60/15
DTS-CMA-ES Pitra 38 (86)23 (30)∞∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 9.5 (6)126 (179)∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 5.7 (5)12 (17)47 (75)45 (73)44 (71)41 (66)8.1 (13)15/15
KL-IPOP-CMA-ES Yamaguchi 6.9 (11)763 (1793)1334 (1544)1297 (1391)1256 (1357)1168 (1113)233 (354)7/15
KL-Restart-CMA-ES Yamaguchi 13 (3)1338 (2699)∞∞∞∞∞2e70/15
Ord-H-DTS-CMA-ES Pitra 5.0 (6)∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra 2.0 (2)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 4.8 (6)8.1 (7)∞∞∞∞∞10100/45
SSEABC Aydin 70 (113)77 (96)∞∞∞∞∞2e50/15

Δ fopt
f23, 20-D		 1e1
3.0		 1e0
1614		 1e-1
67457		 1e-2
3.7e5		 1e-3
4.9e5		 1e-5
8.1e5		 1e-7
8.4e5		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 3.3 (3)6.2e4 (6e4)∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 2.0 (2)9.5e4 (1e5)∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff 2.0 (2)8.1e4 (8e4)∞∞∞∞∞2e80/15
CMAES-APOP Nguyen 1.6 (2)279 (621)416 (483)∞∞∞∞2e60/15
DTS-CMA-ES Pitra 2.1 (2)19 (21)3.9 (4)∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez 59 (65)72 (53)∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 4.8 (4)21 (27)2.7 (2)21 (29)33 (41)22 (33)21 (18)10/15
KL-IPOP-CMA-ES Yamaguchi 4.0 (3)22 (21)7.5 (11)27 (33)41 (55)25 (39)24 (30)9/15
KL-Restart-CMA-ES Yamaguchi 5.1 (4)141 (65)6.2 (5)7.3 (9)19 (30)12 (12)11 (13)13/15
Ord-H-DTS-CMA-ES Pitra 2.6 (2)∞∞∞∞∞∞5010/15
Ord-N-DTS-CMA-ES Pitra 2.5 (3)∞∞∞∞∞∞5020/15
Ord-Q-DTS-CMA-ES Pitra 2.2 (2)∞∞∞∞∞∞10100/45
SSEABC Aydin 2.1 (2)31 (32)4.9 (6)∞∞∞∞2e50/15

Δ fopt
f24, 20-D		 1e1
1.3e6		 1e0
7.5e6		 1e-1
5.2e7		 1e-2
5.2e7		 1e-3
5.2e7		 1e-5
5.2e7		 1e-7
5.2e7		 #succ
3/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞2e80/15
CMAES-APOP Nguyen ∞∞∞∞∞∞∞2e60/15
DTS-CMA-ES Pitra ∞∞∞∞∞∞∞2e40/15
EvoSpace-PSO-GA Garcia-Valdez ∞∞∞∞∞∞∞1e60/15
KL-BIPOP-CMA-ES Yamaguchi 3.4 (4)∞∞∞∞∞∞2e70/15
KL-IPOP-CMA-ES Yamaguchi 41 (60)20 (15)∞∞∞∞∞2e70/15
KL-Restart-CMA-ES Yamaguchi 2.3 (3)∞∞∞∞∞∞2e70/15
Ord-H-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5020/15
Ord-N-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞5010/15
Ord-Q-DTS-CMA-ES Pitra ∞∞∞∞∞∞∞10100/45
SSEABC Aydin ∞∞∞∞∞∞∞2e50/15

Previous dimension | Dimension = 40 | First dimension

Δ fopt
f1, 40-D		 1e1
83		 1e0
83		 1e-1
83		 1e-2
83		 1e-3
83		 1e-5
83		 1e-7
83		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 8.4 (1)★314 (1)★320 (2)★326 (2)★332 (2)★244 (1)★256 (2)★215/15
SSEABC Aydin 10 (1)17 (0.8)23 (0.6)29 (1)34 (1)46 (2)58 (2)15/15

Δ fopt
f2, 40-D		 1e1
796		 1e0
797		 1e-1
799		 1e-2
799		 1e-3
800		 1e-5
802		 1e-7
804		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 59 (7)★469 (9)★476 (7)★481 (6)★484 (5)★488 (2)★490 (2)★415/15
SSEABC Aydin 3630 (3737)∞∞∞∞∞∞4e50/15

Δ fopt
f3, 40-D		 1e1
15526		 1e0
15602		 1e-1
15612		 1e-2
15641		 1e-3
15646		 1e-5
15651		 1e-7
15656		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen ∞∞∞∞∞∞∞4e60/15
SSEABC Aydin ∞∞∞∞∞∞∞4e50/15

Δ fopt
f4, 40-D		 1e1
15536		 1e0
15601		 1e-1
15659		 1e-2
15678		 1e-3
15703		 1e-5
15733		 1e-7
2.8e5		 #succ
6/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen ∞∞∞∞∞∞∞4e60/15
SSEABC Aydin ∞∞∞∞∞∞∞4e50/15

Δ fopt
f5, 40-D		 1e1
98		 1e0
116		 1e-1
120		 1e-2
121		 1e-3
121		 1e-5
121		 1e-7
121		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 4.5 (0.4)★44.3 (0.4)★44.2 (0.4)★44.2 (0.4)★44.2 (0.4)★44.2 (0.4)★44.2 (0.4)★415/15
SSEABC Aydin 26 (5)66 (21)113 (35)131 (39)158 (79)236 (230)266 (228)15/15

Δ fopt
f6, 40-D		 1e1
3507		 1e0
5523		 1e-1
7168		 1e-2
9470		 1e-3
11538		 1e-5
15007		 1e-7
19222		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 1.5 (0.2)1.4 (0.1)1.4 (0.1)1.3 (0.1)1.3 (0.1)1.4 (0.1)1.3 (0.1)15/15
SSEABC Aydin 1.3 (0.1)★1.3 (0.1)1.3 (0.1)★1.2 (0.1)★21.2 (0.1)1.3 (0.1)1.2 (0.1)15/15

Δ fopt
f7, 40-D		 1e1
10698		 1e0
17839		 1e-1
41037		 1e-2
66294		 1e-3
66294		 1e-5
66294		 1e-7
68145		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 2.8 (2)2.8 (0.4)★31.4 (0.2)★30.98 (0.2)★30.98 (0.2)★30.98 (0.2)★30.96 (0.1)★315/15
SSEABC Aydin 3.5 (2)17 (17)11 (12)7.2 (5)7.2 (8)7.2 (5)7.0 (5)9/15

Δ fopt
f8, 40-D		 1e1
7080		 1e0
10655		 1e-1
11012		 1e-2
11265		 1e-3
11430		 1e-5
11701		 1e-7
11969		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 7.4 (1.0)★443 (92)43 (91)43 (90)42 (89)42 (87)41 (85)15/15
SSEABC Aydin ∞∞∞∞∞∞∞4e50/15

Δ fopt
f9, 40-D		 1e1
6122		 1e0
12982		 1e-1
13300		 1e-2
13496		 1e-3
13651		 1e-5
13909		 1e-7
14142		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 7.8 (0.7)★415 (0.3)★416 (0.3)★416 (0.3)★416 (0.3)★416 (0.3)★416 (0.3)★415/15
SSEABC Aydin ∞∞∞∞∞∞∞4e50/15

Δ fopt
f10, 40-D		 1e1
25536		 1e0
29762		 1e-1
35676		 1e-2
51579		 1e-3
56007		 1e-5
65128		 1e-7
70824		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 1.8 (0.1)★41.9 (0.2)★41.7 (0.1)★41.3 (0.1)★41.2 (0.1)★41.1 (0.0)★41.0 (0.0)★415/15
SSEABC Aydin 229 (247)∞∞∞∞∞∞4e50/15

Δ fopt
f11, 40-D		 1e1
2368		 1e0
4855		 1e-1
11681		 1e-2
25315		 1e-3
29749		 1e-5
38949		 1e-7
48211		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 14 (0.9)7.4 (0.3)3.2 (0.1)1.6 (0.0)1.4 (0.0)★21.1 (0.0)★40.95 (0.0)★4↑015/15
SSEABC Aydin 13 (0.5)★27.1 (0.2)★3.2 (0.1)1.6 (0.0)94 (85)∞∞4e50/15

Δ fopt
f12, 40-D		 1e1
4169		 1e0
7452		 1e-1
9174		 1e-2
10751		 1e-3
13146		 1e-5
22758		 1e-7
25192		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 1.1 (0.0)★0.93 (0.8)1.5 (0.8)1.8 (0.6)1.9 (0.5)1.5 (0.3)1.7 (0.3)15/15
SSEABC Aydin 1.2 (1)1.3 (1)1.8 (1)2.3 (0.9)3.1 (0.8)5.2 (5)13 (15)6/15

Δ fopt
f13, 40-D		 1e1
2029		 1e0
6916		 1e-1
8734		 1e-2
11861		 1e-3
71936		 1e-5
98467		 1e-7
1.2e5		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 1.9 (0.3)5.4 (5)8.4 (11)20 (12)3.9 (2)3.5 (1)★24.1 (1)15/15
SSEABC Aydin 3.2 (4)3.8 (5)10 (9)51 (93)17 (18)57 (85)∞4e50/15

Δ fopt
f14, 40-D		 1e1
304		 1e0
616		 1e-1
777		 1e-2
1105		 1e-3
2207		 1e-5
4825		 1e-7
57711		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 1.9 (0.3)★32.1 (0.3)★22.7 (0.2)3.6 (0.4)4.3 (0.4)6.6 (0.4)★1.1 (0.0)★415/15
SSEABC Aydin 2.6 (0.2)2.4 (0.2)2.9 (0.2)3.8 (0.3)4.5 (0.4)7.1 (0.5)∞4e50/15

Δ fopt
f15, 40-D		 1e1
1.9e5		 1e0
7.9e5		 1e-1
1.0e6		 1e-2
1.1e6		 1e-3
1.1e6		 1e-5
1.1e6		 1e-7
1.1e6		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 1.7 (0.2)0.40 (0.1)★4↑00.31 (0.0)★4↑00.30 (0.0)★4↑00.30 (0.0)★4↑00.30 (0.0)★4↑00.29 (0.0)★4↑015/15
SSEABC Aydin 3.5 (4)∞∞∞∞∞∞4e50/15

Δ fopt
f16, 40-D		 1e1
5244		 1e0
72122		 1e-1
3.2e5		 1e-2
7.1e5		 1e-3
1.4e6		 1e-5
2.0e6		 1e-7
2.0e6		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 0.90 (0.2)21 (7)4.7 (2)2.1 (0.7)1.1 (0.4)1.1 (0.6)1.0 (0.5)14/15
SSEABC Aydin 0.59 (0.1)★4↑00.40 (0.7)★4∞∞∞∞∞4e50/15

Δ fopt
f17, 40-D		 1e1
399		 1e0
4220		 1e-1
14158		 1e-2
34948		 1e-3
51958		 1e-5
1.3e5		 1e-7
2.7e5		 #succ
14/15
RANDOMSEARCH-4-1e7D Brockhoff 1827 (1668)∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 3779 (3459)∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff 2.2e4 (3e4)∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 0.66 (0.3)★20.49 (0.1)↑04.0 (4)3.8 (0.7)2.8 (0.6)1.6 (0.3)★20.98 (0.5)★315/15
SSEABC Aydin 1.1 (0.2)0.45 (0.1)↑00.52 (0.1)↑11.5 (1)★47.7 (8)21 (28)∞4e50/15

Δ fopt
f18, 40-D		 1e1
1442		 1e0
16998		 1e-1
47068		 1e-2
1.3e5		 1e-3
1.9e5		 1e-5
6.7e5		 1e-7
9.5e5		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 0.83 (0.2)1.8 (3)2.5 (0.3)1.1 (0.1)0.83 (0.1)★↑01.0 (2)0.92 (2)13/15
SSEABC Aydin 0.88 (0.2)0.41 (0.1)↑11.3 (0.2)★42.4 (3)6.7 (13)∞∞4e50/15

Δ fopt
f19, 40-D		 1e1
1		 1e0
1		 1e-1
1.4e6		 1e-2
1.7e7		 1e-3
2.6e7		 1e-5
4.5e7		 1e-7
4.5e7		 #succ
8/15
RANDOMSEARCH-4-1e7D Brockhoff 3.8e7 (5e7)∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.9e9 (2e9)∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 1 (0)★41 (0)★40.73 (0.1)↑00.28 (0.4)0.29 (0.3)0.27 (0.4)0.27 (0.3)4/15
SSEABC Aydin 672 (107)2.3e5 (2e5)∞∞∞∞∞4e50/15

Δ fopt
f20, 40-D		 1e1
222		 1e0
1.3e5		 1e-1
1.6e8		 1e-2
∞		 1e-3
∞		 1e-5
∞		 1e-7
∞		 #succ
0/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 3.4 (0.5)★317 (2)∞∞∞∞∞4e60/15
SSEABC Aydin 4.7 (0.5)∞∞∞∞∞∞4e50/15

Δ fopt
f21, 40-D		 1e1
1044		 1e0
21144		 1e-1
1.0e5		 1e-2
1.0e5		 1e-3
1.0e5		 1e-5
1.0e5		 1e-7
1.0e5		 #succ
26/30
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 4.1 (0.3)291 (381)81 (81)81 (59)81 (120)80 (99)80 (118)5/15
SSEABC Aydin 0.88 (0.2)19 (38)26 (21)26 (34)26 (35)26 (25)26 (27)2/15

Δ fopt
f22, 40-D		 1e1
3090		 1e0
35442		 1e-1
6.5e5		 1e-2
6.5e5		 1e-3
6.5e5		 1e-5
6.5e5		 1e-7
6.5e5		 #succ
8/30
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 206 (647)454 (735)∞∞∞∞∞4e60/15
SSEABC Aydin 34 (97)46 (60)∞∞∞∞∞4e50/15

Δ fopt
f23, 40-D		 1e1
7.0		 1e0
11925		 1e-1
75453		 1e-2
6.6e5		 1e-3
1.3e6		 1e-5
3.2e6		 1e-7
3.4e6		 #succ
15/15
RANDOMSEARCH-4-1e7D Brockhoff 1.5 (1)∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff 1.0 (1)∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff 1.8 (2)∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen 1.5 (2)3.6 (2)345 (305)∞∞∞∞4e60/15
SSEABC Aydin 1.2 (1)7.3 (8)2.0 (2)★2∞★3∞★3∞★3∞4e5★30/15

Δ fopt
f24, 40-D		 1e1
5.8e6		 1e0
9.8e7		 1e-1
3.0e8		 1e-2
3.0e8		 1e-3
3.0e8		 1e-5
3.0e8		 1e-7
3.0e8		 #succ
1/15
RANDOMSEARCH-4-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-4p5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
RANDOMSEARCH-5-1e7D Brockhoff ∞∞∞∞∞∞∞4e80/15
CMAES-APOP Nguyen ∞∞∞∞∞∞∞4e60/15
SSEABC Aydin ∞∞∞∞∞∞∞4e50/15

Expected runtime (ERT in number of f-evaluations) divided by the respective best ERT measured during BBOB-2009 (when finite) in different dimensions. This ERT ratio and, in braces as dispersion measure, the half difference between 10 and 90%-tile of (bootstrapped) run lengths appear for each algorithm and target, the corresponding reference ERT  in the first row. The different target ∆f-values are shown in the top row. #succ is the number of trials that reached the (final) target fopt+ 10−8. The median number of conducted function evaluations is additionally given in italics, if the target in the last column was never reached. The best entry is marked by a star when the largest p-value of pairwise rank-sum tests with the other algorithms either obeys 0.01 < p ≤ 0.05 or 10−k−1 < p ≤ 10−k when the star is followed by the number k, with Bonferroni correction by the number of functions (24). A ↑ signifies the number of trials that were worse than the ERT of the best algorithm from BBOB 2009 shown only when less than 10 percent were worse and the ERT was better. Best results are printed in bold.