Overview page

Table showing the ERT in number of function evaluations

Last dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 28 (18)148 (255)190 (234)235 (205)306 (208)430 (218)610 (302)15/15
DE-scipy 24 (37)171 (68)439 (214)567 (326)727 (300)1085 (462)1676 (544)15/15
RANDOMSEARCH 30 (44)2052 (2755)2.0e4 (1e4)6.0e4 (9e4)1.8e5 (1e5)∞∞5e40/15
TPE-hyperopt 26 (20)105 (72)283 (221)429 (322)541 (464)1743 (1126)∞5000/15

Δ fopt
f2, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 145 (100)262 (84)383 (87)★460 (98)★3655 (382)734 (352)988 (286)15/15
DE-scipy 266 (172)528 (127)814 (187)978 (235)1274 (329)1598 (233)1965 (515)15/15
RANDOMSEARCH 932 (1047)1.2e4 (2e4)1.2e5 (2e5)3.4e5 (3e5)7.1e5 (5e5)∞∞5e40/15
TPE-hyperopt 88 (88)453 (733)3426 (3250)∞∞∞∞5000/15

Δ fopt
f3, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 12 (15)431 (1262)581 (1213)747 (1214)2164 (1698)4847 (4243)5751 (4210)15/15
DE-scipy 9.1 (11)270 (119)706 (386)886 (337)1337 (321)1874 (371)2386 (425)15/15
RANDOMSEARCH 11 (18)4874 (6022)1.7e5 (2e5)7.3e5 (6e5)7.3e5 (5e5)∞∞5e40/15
TPE-hyperopt 8.9 (12)176 (207)917 (1214)2293 (4375)3657 (3380)∞∞5000/15

Δ fopt
f4, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 8.3 (10)164 (114)552 (816)2503 (4780)3618 (8414)6044 (6166)9065 (2e4)15/15
DE-scipy 18 (16)455 (205)1035 (355)1323 (539)1576 (482)2137 (615)2998 (890)15/15
RANDOMSEARCH 15 (16)7634 (1e4)∞∞∞∞∞5e40/15
TPE-hyperopt 13 (11)171 (152)1263 (1243)3606 (3526)3610 (6875)∞∞5000/15

Δ fopt
f5, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 69 (34)246 (368)272 (328)305 (361)344 (104)517 (318)765 (230)15/15
DE-scipy 343 (157)903 (258)1230 (241)1670 (546)2231 (717)3864 (525)5283 (922)15/15
RANDOMSEARCH 3041 (4246)7.1e5 (8e5)7.1e5 (9e5)∞∞∞∞5e40/15
TPE-hyperopt 44 (26)177 (305)177 (188)177 (215)177 (210)177 (270)★2177 (305)★214/15

Δ fopt
f6, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 170 (131)351 (1036)6638 (2e4)2.6e4 (3e4)3.5e4 (4e4)6.2e4 (1e5)7.9e4 (2e5)6/15
DE-scipy 175 (247)266 (340)1.9e4 (5e4)2.6e4 (3e4)2.7e4 (5e4)2.8e4 (9e4)2.9e4 (4e4)10/15
RANDOMSEARCH 8568 (2e4)2.0e4 (5e4)7.7e4 (6e4)2.3e5 (2e5)3.5e5 (7e5)7.1e5 (6e5)∞5e40/15
TPE-hyperopt 116 (143)144 (295)631 (525)1100 (1427)1783 (3558)∞∞5000/15

Δ fopt
f7, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 718 (1993)1.4e4 (4e4)1.5e4 (3e4)1.5e4 (3e4)1.5e4 (3e4)1.5e4 (5e4)1.5e4 (4e4)12/15
DE-scipy 127 (89)540 (156)793 (360)998 (263)998 (342)998 (332)1011 (342)15/15
RANDOMSEARCH 414 (440)2.3e4 (3e4)3.5e4 (3e4)9.8e4 (1e5)1.2e5 (1e5)1.2e5 (9e4)1.6e5 (7e4)0/15
TPE-hyperopt 160 (422)845 (1078)1278 (1538)1676 (2008)1700 (2423)1700 (1723)2384 (4824)0/15

Δ fopt
f8, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 35 (40)112 (128)190 (113)244 (148)340 (200)573 (296)958 (364)15/15
DE-scipy 45 (52)207 (138)515 (254)685 (198)898 (409)1443 (699)1914 (589)15/15
RANDOMSEARCH 40 (32)1295 (1295)9681 (9820)3.0e4 (6e4)2.2e5 (9e4)7.4e5 (4e5)∞5e40/15
TPE-hyperopt 18 (16)156 (118)946 (776)948 (1102)983 (1147)2361 (2826)∞5000/15

Δ fopt
f9, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 38 (81)540 (1783)6244 (1e4)7569 (3075)1.5e4 (3e4)1.7e4 (5e4)1.8e4 (6e4)12/15
DE-scipy 24 (16)261 (150)8504 (3e4)8657 (1e4)8832 (3e4)9510 (3e4)9966 (811)13/15
RANDOMSEARCH 20 (22)1222 (2396)1.4e4 (2e4)3.8e4 (5e4)1.0e5 (9e4)7.1e5 (6e5)∞5e40/15
TPE-hyperopt 22 (27)177 (250)667 (439)681 (915)767 (739)1757 (1042)7261 (5625)1/15

Δ fopt
f10, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 549 (1816)1.3e4 (2e4)3.4e4 (3e4)3.6e4 (5e4)3.7e4 (3e4)4.4e4 (7e4)4.5e4 (8e4)9/15
DE-scipy 311 (246)1.4e4 (1e4)5.9e4 (1e5)5.9e4 (8e4)6.0e4 (6e4)6.1e4 (1e5)6.1e4 (2e5)7/15
RANDOMSEARCH 616 (1164)3.7e4 (5e4)1.0e5 (3e4)3.6e5 (5e5)∞∞∞5e40/15
TPE-hyperopt 226 (592)7431 (8250)∞∞∞∞∞5000/15

Δ fopt
f11, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 31 (28)134 (157)3.3e4 (3e4)1.2e5 (3e5)2.2e5 (4e5)∞∞5e40/15
DE-scipy 73 (76)192 (141)2296 (1716)5.0e4 (7e4)1.5e5 (2e5)1.5e5 (3e5)1.5e5 (2e5)4/15
RANDOMSEARCH 98 (124)416 (410)2.7e4 (3e4)7.4e5 (4e5)∞∞∞5e40/15
TPE-hyperopt 53 (54)146 (100)3352 (4490)∞∞∞∞5000/15

Δ fopt
f12, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2664 (2071)2705 (2089)4447 (1e4)4558 (1044)4649 (1e4)4985 (1e4)5264 (1e4)14/15
DE-scipy 477 (198)672 (378)819 (346)1069 (272)1365 (438)1720 (507)2203 (395)15/15
RANDOMSEARCH 2.8e4 (3e4)1.3e5 (1e5)3.6e5 (4e5)7.4e5 (1e6)7.4e5 (1e6)∞∞5e40/15
TPE-hyperopt 355 (396)444 (677)529 (397)592 (466)808 (799)3672 (3000)∞5000/15

Δ fopt
f13, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 804 (1820)896 (1989)1069 (2026)1313 (2237)1607 (1896)2263 (972)3005 (1856)15/15
DE-scipy 324 (95)726 (277)1164 (389)1655 (598)2184 (529)3249 (651)4118 (730)15/15
RANDOMSEARCH 6632 (1e4)8.6e4 (8e4)2.2e5 (3e5)7.0e5 (6e5)∞∞∞5e40/15
TPE-hyperopt 226 (132)364 (290)649 (369)3582 (3661)7259 (4625)∞∞5000/15

Δ fopt
f14, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 5.2 (8)158 (276)271 (412)406 (123)548 (510)1116 (506)1773 (664)15/15
DE-scipy 6.5 (16)161 (125)456 (248)757 (326)1188 (437)2446 (861)3324 (981)15/15
RANDOMSEARCH 5.1 (5)904 (783)3.3e4 (3e4)2.3e5 (3e5)7.3e5 (7e5)∞∞5e40/15
TPE-hyperopt 6.5 (6)66 (47)263 (252)456 (303)1353 (943)∞∞5000/15

Δ fopt
f15, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 19 (18)1159 (1509)2949 (6793)3164 (6906)4141 (9498)4977 (1896)5293 (9824)15/15
DE-scipy 10 (7)8474 (1e4)8742 (1e4)9087 (1e4)9448 (1e4)1.0e4 (683)1.1e4 (1e4)13/15
RANDOMSEARCH 18 (16)5.1e4 (7e4)2.3e5 (4e5)7.4e5 (1e6)∞∞∞5e40/15
TPE-hyperopt 11 (12)1614 (2061)2194 (2125)2237 (2873)3404 (2876)∞∞5000/15

Δ fopt
f16, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 404 (668)2.3e5 (1e5)7.2e5 (4e5)7.2e5 (8e5)7.2e5 (8e5)7.2e5 (6e5)7.2e5 (9e5)1/15
DE-scipy 314 (290)1.0e5 (2e5)3.3e5 (9e5)3.3e5 (3e5)3.3e5 (5e5)3.3e5 (5e5)3.3e5 (3e5)2/15
RANDOMSEARCH 307 (121)3.6e4 (4e4)8.5e4 (9e4)1.3e5 (7e4)2.4e5 (4e5)7.2e5 (8e5)∞5e40/15
TPE-hyperopt 129 (93)∞∞∞∞∞∞5000/15

Δ fopt
f17, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 495 (1225)615 (1269)819 (1284)1070 (1263)1343 (310)2079 (386)3250 (1952)15/15
DE-scipy 372 (278)880 (495)1360 (730)1939 (833)2366 (378)3369 (825)4516 (896)15/15
RANDOMSEARCH 1.0e4 (2e4)7.7e4 (4e4)7.1e5 (7e5)∞∞∞∞5e40/15
TPE-hyperopt 454 (342)736 (754)1309 (2110)7410 (1e4)∞∞∞5000/15

Δ fopt
f18, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 183 (377)4568 (1e4)4689 (2042)4969 (1e4)5253 (1e4)6118 (3e4)6811 (1e4)13/15
DE-scipy 233 (170)4259 (1e4)4698 (590)5332 (1e4)5947 (1e4)7130 (3e4)8154 (751)14/15
RANDOMSEARCH 943 (1518)4.9e4 (5e4)7.0e5 (5e5)∞∞∞∞5e40/15
TPE-hyperopt 142 (163)493 (457)810 (785)1387 (2526)∞∞∞5000/15

Δ fopt
f19, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1279 (1823)1.5e4 (2e4)2.2e4 (6e4)2.3e4 (4e4)2.3e4 (5e4)2.4e4 (5e4)2.4e4 (3e4)12/15
DE-scipy 3181 (2582)1.3e4 (3e4)1.4e4 (3e4)1.5e4 (4e4)1.5e4 (1e4)1.6e4 (2e4)1.7e4 (2e4)13/15
RANDOMSEARCH 1.3e4 (8395)9.3e4 (2e5)1.5e5 (1e5)3.3e5 (4e5)7.1e5 (7e5)∞∞5e40/15
TPE-hyperopt 3506 (2184)∞∞∞∞∞∞5000/15

Δ fopt
f20, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 17 (20)21 (23)829 (255)1350 (1391)1843 (2560)3230 (4638)3678 (4744)15/15
DE-scipy 60 (48)77 (53)401 (288)2.6e4 (3e4)2.6e4 (3e4)2.7e4 (4e4)2.7e4 (3e4)10/15
RANDOMSEARCH 47 (40)71 (91)7632 (7165)2.3e5 (3e5)∞∞∞5e40/15
TPE-hyperopt 20 (24)21 (14)362 (412)2327 (2840)2371 (3011)7264 (8625)∞5000/15

Δ fopt
f21, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 254 (24)1.7e4 (2e4)2.7e4 (7e4)3.2e4 (6e4)3.2e4 (4e4)3.3e4 (6e4)3.3e4 (6e4)10/15
DE-scipy 89 (86)1.3e4 (5e4)1.3e4 (3e4)1.3e4 (5e4)1.4e4 (4e4)1.4e4 (4e4)1.4e4 (4e4)12/15
RANDOMSEARCH 100 (143)1627 (2699)1.8e4 (5e4)3.2e4 (8e4)5.9e4 (2e5)1.6e5 (2e5)3.3e5 (2e5)0/15
TPE-hyperopt 43 (40)783 (1475)1014 (932)1321 (1125)1667 (2085)1673 (2227)1764 (1623)3/15

Δ fopt
f22, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4693 (1530)2.8e4 (8e4)4.0e4 (4e4)5.1e4 (4e4)5.6e4 (1e5)6.7e4 (1e5)6.7e4 (1e5)7/15
DE-scipy 160 (212)4189 (1e4)8780 (3e4)8878 (3e4)9056 (1e4)9269 (1e4)9713 (5e4)13/15
RANDOMSEARCH 264 (383)3085 (2816)1.8e4 (4e4)3.5e4 (5e4)6.0e4 (7e4)1.6e5 (9e4)3.5e5 (3e5)1/15
TPE-hyperopt 193 (149)832 (774)1366 (959)2407 (2750)2414 (4664)3624 (3000)3642 (2875)2/15

Δ fopt
f23, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e4 (2e4)∞∞∞∞∞∞5e40/15
DE-scipy 2.2e4 (4e4)∞∞∞∞∞∞5e40/15
RANDOMSEARCH 2.6e4 (3e4)∞∞∞∞∞∞5e40/15
TPE-hyperopt 7475 (1e4)∞∞∞∞∞∞5000/15

Δ fopt
f24, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.3 (1)2.1e4 (8e4)3.6e4 (6e4)4.7e4 (9e4)4.9e4 (8e4)5.1e4 (8e4)5.2e4 (6e4)8/15
DE-scipy 1.2 (0.8)3.5e4 (8e4)3.5e4 (5e4)3.6e4 (8e4)3.6e4 (1e5)3.8e4 (6e4)3.8e4 (5e4)9/15
RANDOMSEARCH 1.9 (1)8.8e4 (2e5)7.1e5 (9e5)7.1e5 (6e5)∞∞∞5e40/15
TPE-hyperopt 2.1 (2)∞∞∞∞∞∞5000/15

Previous dimension | Dimension = 10 | Next dimension

Δ fopt
f1, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 84 (39)★480 (156)★2577 (153)★2716 (860)★21077 (512)2005 (528)3058 (565)15/15
DE-scipy 254 (137)1309 (436)1879 (594)2435 (472)2947 (626)4362 (632)5720 (564)15/15
RANDOMSEARCH 4965 (1e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 175 (136)1716 (1858)∞∞∞∞∞10000/15

Δ fopt
f2, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 592 (239)★31047 (504)1806 (626)2518 (1636)3087 (2224)3461 (2039)4426 (1425)15/15
DE-scipy 1085 (450)1777 (348)2461 (749)3016 (772)3492 (570)4800 (1050)6059 (792)15/15
RANDOMSEARCH 1.4e6 (2e6)∞∞∞∞∞∞1e50/15
TPE-hyperopt 2316 (3519)∞∞∞∞∞∞10000/15

Δ fopt
f3, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 83 (50)2847 (5740)7983 (9728)3.5e4 (4e4)4.8e4 (5e4)5.0e4 (8e4)5.2e4 (5e4)12/15
DE-scipy 376 (192)1840 (672)4282 (1121)4862 (1590)5506 (879)7105 (1089)8080 (1627)15/15
RANDOMSEARCH 2207 (3703)∞∞∞∞∞∞1e50/15
TPE-hyperopt 138 (109)1.5e4 (2e4)∞∞∞∞∞10000/15

Δ fopt
f4, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 78 (67)7414 (8305)1.3e4 (1e4)7.8e4 (6e4)1.4e5 (8e4)2.2e5 (3e5)2.2e5 (3e5)5/15
DE-scipy 383 (312)2402 (670)4965 (1556)2.1e4 (8e4)2.2e4 (3e4)2.4e4 (3e4)2.5e4 (3e4)13/15
RANDOMSEARCH 6775 (9246)∞∞∞∞∞∞1e50/15
TPE-hyperopt 165 (142)∞∞∞∞∞∞10000/15

Δ fopt
f5, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 285 (90)719 (865)★2761 (858)★2926 (402)★1301 (774)2628 (868)3797 (913)15/15
DE-scipy 1764 (196)3617 (630)5234 (1028)7241 (826)9010 (1286)1.3e4 (1981)1.7e4 (2401)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt 441 (478)7378 (7250)7378 (2e4)7378 (9250)7378 (8991)7378 (2e4)7378 (1e4)2/15

Δ fopt
f6, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 843 (1166)924 (1252)2.9e5 (5e5)1.4e6 (2e6)∞∞∞1e50/15
DE-scipy 720 (608)949 (847)2.8e5 (2e5)6.5e5 (9e5)1.4e6 (2e6)1.4e6 (2e6)1.4e6 (8e5)1/15
RANDOMSEARCH 4.2e4 (6e4)1.8e5 (1e5)∞∞∞∞∞1e50/15
TPE-hyperopt 429 (701)878 (1297)∞∞∞∞∞10000/15

Δ fopt
f7, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1901 (1552)1.6e4 (4e4)1.7e4 (3e4)1.8e4 (1e4)1.8e4 (1e4)1.8e4 (6e4)1.8e4 (1e4)14/15
DE-scipy 1519 (756)1.9e4 (3e4)2.0e4 (3e4)2.0e4 (1e5)2.1e4 (5e4)2.1e4 (3e4)2.1e4 (5e4)13/15
RANDOMSEARCH 1.5e6 (2e6)∞∞∞∞∞∞1e50/15
TPE-hyperopt 2593 (1052)∞∞∞∞∞∞10000/15

Δ fopt
f8, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 207 (214)415 (202)★25766 (6720)6044 (1e4)6257 (1e4)7231 (1e4)8423 (1e4)15/15
DE-scipy 459 (212)1583 (492)2906 (1080)3522 (1296)4162 (1336)6167 (2320)7977 (1342)15/15
RANDOMSEARCH 1.4e4 (3e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 269 (158)4534 (6104)∞∞∞∞∞10000/15

Δ fopt
f9, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 889 (2690)7.3e4 (6e4)1.4e5 (2e5)1.4e5 (2e5)1.4e5 (9e4)1.4e5 (2e5)1.4e5 (2e5)7/15
DE-scipy 465 (165)1.2e5 (2e5)2.8e5 (5e5)2.8e5 (4e5)2.8e5 (5e5)2.8e5 (5e5)2.8e5 (3e5)4/15
RANDOMSEARCH 6632 (1e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 239 (319)7050 (9250)1.4e4 (1e4)∞∞∞∞10000/15

Δ fopt
f10, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.7e4 (1e4)1.3e5 (1e5)4.5e5 (5e5)4.6e5 (6e5)4.6e5 (4e5)4.6e5 (9e5)4.6e5 (5e5)3/15
DE-scipy 3224 (1516)4.1e5 (5e5)6.6e5 (1e6)6.6e5 (5e5)6.6e5 (1e6)6.7e5 (1e6)6.7e5 (1e6)2/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt 7272 (9139)∞∞∞∞∞∞10000/15

Δ fopt
f11, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 51 (48)368 (84)7.0e5 (4e5)∞∞∞∞1e50/15
DE-scipy 96 (113)447 (568)3.4e4 (3e4)3.4e5 (2e5)∞∞∞1e50/15
RANDOMSEARCH 134 (107)1202 (1963)7.1e5 (9e5)∞∞∞∞1e50/15
TPE-hyperopt 95 (114)449 (828)∞∞∞∞∞10000/15

Δ fopt
f12, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1434 (4009)1617 (4133)2054 (735)2585 (4787)3387 (4915)4620 (4278)5792 (4769)15/15
DE-scipy 1994 (556)2540 (587)3040 (967)3630 (1162)4268 (1237)5668 (1230)6849 (1325)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt ∞∞∞∞∞∞∞10000/15

Δ fopt
f13, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1022 (531)2540 (2586)3356 (6424)4502 (6500)5496 (2233)7959 (2212)3.5e4 (3e4)1/15
DE-scipy 1809 (645)2803 (929)4296 (1240)5685 (1144)7093 (1720)9572 (1227)1.2e4 (2390)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt 7114 (9750)∞∞∞∞∞∞10000/15

Δ fopt
f14, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 24 (25)1304 (2881)1744 (3581)2389 (4350)3227 (3934)5311 (3192)7434 (3142)15/15
DE-scipy 68 (78)953 (413)9336 (546)1.0e4 (3e4)1.2e4 (3e4)1.5e4 (3e4)1.8e4 (3e4)14/15
RANDOMSEARCH 139 (187)7.2e5 (1e6)∞∞∞∞∞1e50/15
TPE-hyperopt 26 (15)741 (720)1.5e4 (2e4)∞∞∞∞10000/15

Δ fopt
f15, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 220 (214)1.7e4 (2e4)2.0e4 (1e4)2.4e4 (2e4)2.5e4 (2e4)2.6e4 (2e4)2.7e4 (2e4)15/15
DE-scipy 560 (355)1.7e5 (2e5)1.7e5 (2e5)1.7e5 (2e5)1.7e5 (2e5)1.7e5 (1e5)1.8e5 (3e5)6/15
RANDOMSEARCH 2.5e4 (2e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 520 (401)∞∞∞∞∞∞10000/15

Δ fopt
f16, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2464 (2573)∞∞∞∞∞∞1e50/15
DE-scipy 1.4e4 (2e4)∞∞∞∞∞∞1e50/15
RANDOMSEARCH 2.4e4 (2e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 4612 (2500)∞∞∞∞∞∞10000/15

Δ fopt
f17, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4926 (9945)5377 (1e4)6282 (9939)7511 (1e4)8564 (1e4)1.1e4 (1e4)2.6e4 (3e4)2/15
DE-scipy 1960 (803)3596 (1295)5090 (1794)6448 (1849)8067 (1905)1.0e4 (2083)1.3e4 (2798)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt ∞∞∞∞∞∞∞10000/15

Δ fopt
f18, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 244 (194)8911 (1e4)9684 (2e4)1.1e4 (1e4)1.2e4 (2e4)1.4e4 (7464)2.1e4 (2e4)2/15
DE-scipy 1025 (720)1.2e4 (2513)1.3e4 (3e4)1.5e4 (3e4)1.6e4 (5e4)1.9e4 (3430)2.2e4 (3441)14/15
RANDOMSEARCH 9.0e4 (9e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 711 (462)∞∞∞∞∞∞10000/15

Δ fopt
f19, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.6e5 (2e5)7.0e5 (1e6)7.0e5 (4e5)7.0e5 (1e6)7.0e5 (4e5)7.1e5 (1e6)7.1e5 (7e5)2/15
DE-scipy ∞∞∞∞∞∞∞1e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt ∞∞∞∞∞∞∞10000/15

Δ fopt
f20, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 47 (23)76 (46)6172 (7667)8.2e4 (7e4)1.1e5 (1e5)1.1e5 (1e5)1.1e5 (1e5)9/15
DE-scipy 245 (208)367 (176)1.8e4 (8e4)1.2e5 (1e5)1.2e5 (3e5)1.2e5 (3e5)1.2e5 (3e5)7/15
RANDOMSEARCH 842 (737)2732 (4190)∞∞∞∞∞1e50/15
TPE-hyperopt 145 (169)206 (270)1.4e4 (2e4)∞∞∞∞10000/15

Δ fopt
f21, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e4 (4e4)9.8e4 (1e5)1.2e5 (3e5)1.2e5 (2e5)1.3e5 (4e5)1.3e5 (2e5)1.3e5 (1e5)7/15
DE-scipy 824 (523)2.7e4 (3e4)2.7e4 (5e4)2.8e4 (5e4)2.8e4 (5e4)2.9e4 (5e4)3.0e4 (5e4)12/15
RANDOMSEARCH 7821 (1e4)7.0e5 (1e6)∞∞∞∞∞1e50/15
TPE-hyperopt 586 (1018)1724 (1358)7267 (7008)∞∞∞∞10000/15

Δ fopt
f22, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.6e5 (2e5)6.7e5 (1e6)7.0e5 (5e5)7.0e5 (1e6)7.0e5 (5e5)7.0e5 (6e5)7.0e5 (7e5)2/15
DE-scipy 5.1e4 (1e5)5.3e4 (1e5)1.2e5 (1e5)1.2e5 (2e5)1.2e5 (2e5)1.2e5 (1e5)1.2e5 (2e5)7/15
RANDOMSEARCH 5.4e4 (7e4)1.5e6 (1e6)∞∞∞∞∞1e50/15
TPE-hyperopt 2416 (4250)1.5e4 (2e4)∞∞∞∞∞10000/15

Δ fopt
f23, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.6e5 (1e5)∞∞∞∞∞∞1e50/15
DE-scipy 7.1e5 (5e5)∞∞∞∞∞∞1e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt ∞∞∞∞∞∞∞10000/15

Δ fopt
f24, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 131 (66)5.2e4 (6e4)7.0e4 (6e4)7.1e4 (8e4)7.2e4 (1e5)7.3e4 (7e4)7.4e4 (8e4)12/15
DE-scipy 415 (237)6.7e5 (1e6)6.7e5 (2e6)6.7e5 (2e6)6.8e5 (8e5)6.8e5 (7e5)6.8e5 (8e5)2/15
RANDOMSEARCH 1665 (2077)∞∞∞∞∞∞1e50/15
TPE-hyperopt 252 (159)∞∞∞∞∞∞10000/15

Previous dimension | Dimension = 20 | Next dimension

Δ fopt
f1, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2176 (5665)7548 (1e4)7710 (9691)8123 (7086)9524 (8867)1.3e4 (5751)1.6e4 (4219)15/15
DE-scipy 1809 (560)4841 (1572)6959 (1612)8137 (1674)9964 (2212)1.3e4 (2476)1.6e4 (1998)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 4342 (5049)∞∞∞∞∞∞20000/15

Δ fopt
f2, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2191 (822)4402 (740)1.6e4 (3e4)2.1e4 (1e4)2.4e4 (3e4)2.5e4 (3e4)3.2e4 (4e4)15/15
DE-scipy 2973 (559)4863 (1236)7168 (1776)8956 (2200)1.1e4 (2203)1.5e4 (2642)1.8e4 (2986)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f3, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 531 (139)★42.5e4 (2e4)1.7e5 (1e5)8.8e5 (9e5)8.8e5 (1e6)8.9e5 (1e6)8.9e5 (8e5)3/15
DE-scipy 2328 (806)4.1e4 (5e4)7.2e4 (2e5)5.7e5 (7e5)5.7e5 (8e5)5.8e5 (4e5)5.8e5 (5e5)4/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 7184 (5668)∞∞∞∞∞∞20000/15

Δ fopt
f4, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 667 (256)★44.7e4 (4e4)∞∞∞∞∞2e50/15
DE-scipy 3115 (1118)6.1e4 (1e5)1.6e5 (3e5)1.3e6 (1e6)1.3e6 (2e6)1.3e6 (2e6)1.3e6 (1e6)2/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f5, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1089 (611)★46040 (5510)6124 (6681)6823 (5040)8171 (3595)1.1e4 (2729)1.5e4 (1790)15/15
DE-scipy 1.0e4 (2025)1.5e4 (3561)2.2e4 (3376)2.9e4 (2541)3.6e4 (3298)5.0e4 (3522)6.2e4 (6224)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f6, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.6e4 (5e4)4.2e4 (2e5)∞∞∞∞∞2e50/15
DE-scipy 1.8e4 (5e4)5.7e4 (3267)1.4e6 (2e6)∞∞∞∞2e50/15
RANDOMSEARCH 3.0e6 (6e6)∞∞∞∞∞∞2e50/15
TPE-hyperopt 3949 (3869)∞∞∞∞∞∞20000/15

Δ fopt
f7, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 6.6e4 (9e4)9.5e4 (1e5)9.7e4 (2e5)9.8e4 (1e5)9.8e4 (9e4)9.8e4 (7e4)9.8e4 (1e5)13/15
DE-scipy 6.0e4 (6e4)3.1e5 (4e5)3.1e5 (4e5)3.2e5 (4e5)3.2e5 (8e5)3.2e5 (6e5)3.2e5 (2e5)6/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f8, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1965 (4074)7315 (1e4)1.3e6 (1e6)1.3e6 (2e6)1.3e6 (1e6)1.3e6 (2e6)1.3e6 (1e6)2/15
DE-scipy 2420 (690)5958 (2077)3.1e5 (6e5)3.2e5 (4e5)3.2e5 (4e5)3.3e5 (6e5)3.4e5 (3e5)6/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 2.9e4 (2e4)∞∞∞∞∞∞20000/15

Δ fopt
f9, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.1e4 (3e4)2.8e6 (2e6)2.8e6 (5e6)2.8e6 (5e6)2.8e6 (5e6)2.8e6 (4e6)2.8e6 (3e6)1/15
DE-scipy 2461 (803)∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 3.0e4 (2e4)∞∞∞∞∞∞20000/15

Δ fopt
f10, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.3e5 (2e5)∞∞∞∞∞∞2e50/15
DE-scipy 3.0e5 (2e5)∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f11, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 68 (61)1.3e4 (3e4)∞∞∞∞∞2e50/15
DE-scipy 119 (112)2965 (3950)∞∞∞∞∞2e50/15
RANDOMSEARCH 271 (148)1.6e4 (1e4)∞∞∞∞∞2e50/15
TPE-hyperopt 59 (44)6895 (8480)∞∞∞∞∞20000/15

Δ fopt
f12, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 9731 (2e4)1.1e4 (1e4)1.2e4 (1e4)1.4e4 (2e4)1.7e4 (2e4)2.1e4 (2e4)2.6e4 (2e4)15/15
DE-scipy 2.1e4 (1140)2.2e4 (1921)2.4e4 (5e4)2.7e4 (5e4)2.8e4 (5e4)3.1e4 (3490)3.5e4 (5e4)14/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f13, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 7976 (1e4)1.0e4 (1e4)1.4e4 (9204)1.9e4 (1e4)2.3e4 (1e4)3.2e4 (1e4)1.5e6 (1e6)0/15
DE-scipy 6828 (2178)1.0e4 (2713)1.4e4 (2115)1.7e4 (2692)2.1e4 (2792)2.7e4 (3486)3.4e4 (4484)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f14, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 113 (52)★35573 (1e4)6891 (1e4)9518 (1e4)1.3e4 (1e4)2.1e4 (8650)2.9e4 (9218)15/15
DE-scipy 757 (392)4210 (1643)7383 (2222)1.1e4 (3282)1.4e4 (2862)2.3e4 (5163)3.5e4 (8489)15/15
RANDOMSEARCH 5.2e4 (6e4)∞∞∞∞∞∞2e50/15
TPE-hyperopt 510 (438)∞∞∞∞∞∞20000/15

Δ fopt
f15, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.0e4 (3e4)1.1e5 (2e5)1.1e5 (8e4)1.2e5 (7e4)1.2e5 (2e5)1.2e5 (1e5)1.3e5 (9e4)13/15
DE-scipy 1.3e5 (2e5)∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f16, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 9208 (2e4)∞∞∞∞∞∞2e50/15
DE-scipy ∞∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f17, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.0e4 (4e4)2.6e4 (4e4)3.1e4 (4e4)3.6e4 (4e4)4.0e4 (4e4)4.9e4 (4e4)5.8e5 (6e5)0/15
DE-scipy 2.2e4 (5e4)6.2e4 (1e5)6.6e4 (1e5)6.9e4 (2e5)7.3e4 (5e4)7.8e4 (1e5)8.5e4 (2e5)12/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f18, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 935 (661)★33.7e4 (4e4)4.0e4 (5e4)4.4e4 (5e4)4.9e4 (4e4)5.8e4 (4e4)1.4e5 (6e4)0/15
DE-scipy 4974 (3702)6.4e4 (2e5)6.9e4 (1e5)7.3e4 (1e5)7.6e4 (1e5)8.3e4 (2e5)9.0e4 (2e5)12/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f19, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e6 (2e6)1.5e6 (2e6)1.5e6 (1e6)1.5e6 (2e6)1.5e6 (1e6)1.5e6 (1e6)2.9e6 (5e6)1/15
DE-scipy ∞∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f20, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 289 (222)★2355 (173)★43.8e4 (4e4)1.5e6 (2e6)∞∞∞2e50/15
DE-scipy 1301 (488)1611 (534)4.6e4 (6e4)2.8e6 (2e6)∞∞∞2e50/15
RANDOMSEARCH 2.9e6 (2e6)∞∞∞∞∞∞2e50/15
TPE-hyperopt 1165 (1094)1921 (1162)∞∞∞∞∞20000/15

Δ fopt
f21, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.4e4 (4e4)1.1e5 (1e5)1.2e5 (2e5)1.2e5 (1e5)1.2e5 (2e5)1.2e5 (2e5)1.2e5 (2e5)11/15
DE-scipy 1.7e4 (5e4)5.6e4 (1e5)8.2e4 (1e5)8.3e4 (2e5)8.4e4 (5e4)8.5e4 (1e5)8.8e4 (2e5)11/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 3516 (2624)∞∞∞∞∞∞20000/15

Δ fopt
f22, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 8.4e5 (7e5)∞∞∞∞∞∞2e50/15
DE-scipy 8.1e5 (6e5)2.8e6 (5e6)∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f23, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞2e50/15
DE-scipy ∞∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Δ fopt
f24, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.2e5 (1e5)4.8e5 (5e5)4.8e5 (4e5)4.9e5 (5e5)5.9e5 (6e5)7.4e5 (5e5)7.4e5 (5e5)4/15
DE-scipy 1.8e5 (2e5)∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15

Previous dimension | Dimension = 40 | Next dimension

Δ fopt
f1, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e4 (3e4)4.2e4 (8e4)4.2e4 (5e4)4.5e4 (8e4)5.3e4 (4e4)7.0e4 (8e4)8.7e4 (6e4)15/15
DE-scipy 8636 (3194)4.5e4 (2e5)8.9e4 (2e5)9.2e4 (1e5)9.6e4 (2e5)1.0e5 (1e5)1.1e5 (2e5)13/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f2, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.1e4 (1602)6.4e4 (1e5)2.9e5 (4e5)4.5e5 (1e6)4.5e5 (4e5)4.5e5 (2e5)4.5e5 (1e6)8/15
DE-scipy 1.0e4 (1556)1.7e4 (2652)5.3e4 (5762)8.9e4 (1e5)9.4e4 (1e5)1.0e5 (2e5)1.1e5 (1e5)13/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f3, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4467 (1229)6.0e5 (8e5)∞∞∞∞∞4e50/15
DE-scipy 1.7e4 (4458)6.7e5 (4e5)5.7e6 (8e6)∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f4, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.2e4 (2e4)5.9e6 (7e6)∞∞∞∞∞4e50/15
DE-scipy 2.2e4 (4827)5.2e5 (6e5)∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f5, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.8e4 (3e4)7.5e4 (5e4)7.5e4 (5e4)7.6e4 (9e4)7.9e4 (7e4)8.8e4 (7e4)1.0e5 (6e4)15/15
DE-scipy 4.2e4 (6083)1.8e5 (1e5)2.0e5 (5e5)2.2e5 (2e5)2.4e5 (2e5)2.8e5 (2e5)3.3e5 (2e5)12/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f6, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4.5e4 (1e5)2.9e6 (3e6)∞∞∞∞∞4e50/15
DE-scipy 1.7e4 (1e4)5.9e5 (9e5)∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt 5.9e4 (8e4)∞∞∞∞∞∞40000/15

Δ fopt
f7, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4.8e5 (4e5)1.4e6 (2e6)1.4e6 (9e5)1.4e6 (4e6)1.4e6 (1e6)1.4e6 (1e6)1.4e6 (9e5)4/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f8, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 5.3e4 (5e4)1.9e5 (2e5)∞∞∞∞∞4e50/15
DE-scipy 4.1e4 (3558)3.9e5 (5e5)5.6e6 (1e7)5.7e6 (4e6)5.7e6 (5e6)5.8e6 (1e7)5.8e6 (5e6)1/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f9, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 6.9e5 (1e6)∞∞∞∞∞∞4e50/15
DE-scipy 4.3e4 (1e5)∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f10, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f11, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 76 (99)∞∞∞∞∞∞4e50/15
DE-scipy 177 (227)1.3e5 (5e4)∞∞∞∞∞4e50/15
RANDOMSEARCH 520 (1294)∞∞∞∞∞∞4e50/15
TPE-hyperopt 104 (117)∞∞∞∞∞∞40000/15

Δ fopt
f12, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 7.1e4 (9e4)7.8e4 (8e4)8.4e4 (1e5)9.1e4 (9e4)9.5e4 (5e4)1.1e5 (8e4)1.3e5 (5e4)15/15
DE-scipy 1.7e5 (4e5)1.7e5 (5e5)1.8e5 (2e5)1.9e5 (2e5)1.9e5 (5e5)2.0e5 (2e5)2.1e5 (4e5)11/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f13, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 7.1e4 (7e4)9.3e4 (9e4)1.1e5 (9e4)1.2e5 (8e4)1.4e5 (7e4)1.9e5 (8e4)∞4e50/15
DE-scipy 8.9e4 (2e5)9.9e4 (2e5)1.1e5 (1e5)1.2e5 (2e4)1.3e5 (2e5)1.4e5 (1e5)1.6e5 (2e5)13/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f14, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 588 (206)★46.2e4 (7e4)6.8e4 (6e4)1.1e5 (2e5)1.2e5 (2e5)1.5e5 (1e5)1.9e5 (1e5)11/15
DE-scipy 4850 (1228)2.3e4 (2e4)3.1e5 (3e5)4.0e5 (2e5)4.2e5 (6e5)4.8e5 (5e5)5.7e5 (7e5)8/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt 5.8e4 (4e4)∞∞∞∞∞∞40000/15

Δ fopt
f15, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.9e6 (2e6)2.9e6 (2e6)2.9e6 (3e6)2.9e6 (3e6)2.9e6 (2e6)2.9e6 (3e6)2.9e6 (4e6)2/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f16, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.8e4 (2e4)∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f17, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.0e5 (1e5)1.7e5 (2e5)2.0e5 (1e5)2.2e5 (2e5)2.4e5 (2e5)2.8e5 (2e5)∞4e50/15
DE-scipy 7.0e4 (1e5)2.5e5 (4e5)2.6e5 (3e5)2.7e5 (3e5)2.8e5 (2e5)3.0e5 (4e5)3.2e5 (2e5)10/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f18, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1533 (256)★44.0e5 (3e5)4.1e5 (3e5)4.3e5 (2e5)4.5e5 (5e5)4.9e5 (3e5)∞4e50/15
DE-scipy 2.5e4 (2e4)1.7e6 (1e6)1.7e6 (3e6)1.7e6 (3e6)1.7e6 (2e6)1.7e6 (3e6)1.7e6 (2e6)3/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f19, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f20, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 979 (320)★42.0e4 (6770)4.4e5 (2e5)∞∞∞∞4e50/15
DE-scipy 4935 (1107)6037 (2320)1.6e5 (3e5)∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt 6.0e4 (1e5)∞∞∞∞∞∞40000/15

Δ fopt
f21, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e5 (2e5)3.4e5 (3e5)7.4e5 (9e5)7.4e5 (8e5)7.5e5 (1e6)7.5e5 (1e6)7.5e5 (8e5)6/15
DE-scipy 3.6e4 (3828)7.9e4 (2e5)6.3e5 (1e6)1.1e6 (2e6)1.1e6 (8e5)1.2e6 (1e6)1.2e6 (1e6)4/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f22, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy 5.6e6 (3e6)∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f23, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Δ fopt
f24, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15

Previous dimension | Dimension = 80 | Next dimension

Δ fopt
f1, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4.8e4 (2e5)3.1e5 (4e5)3.1e5 (3e5)3.2e5 (3e5)3.4e5 (2e5)4.2e5 (4e5)5.2e5 (4e5)13/15
DE-scipy 2.6e4 (2958)1.7e6 (2e6)1.1e7 (1e7)1.1e7 (1e7)1.1e7 (8e6)1.1e7 (2e7)1.1e7 (1e7)1/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f2, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 8.3e4 (5e4)3.3e5 (1e5)1.7e6 (1e6)3.8e6 (3e6)1.2e7 (2e7)1.2e7 (2e7)1.2e7 (1e7)1/15
DE-scipy 2.6e4 (4839)1.7e5 (2e4)7.7e5 (4e5)1.0e6 (1e6)1.0e6 (4e5)1.0e6 (2e6)1.0e6 (1e6)7/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f3, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.5e4 (4e4)1.2e7 (8e6)∞∞∞∞∞8e50/15
DE-scipy 5.7e4 (9192)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f4, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.7e5 (3e5)∞∞∞∞∞∞8e50/15
DE-scipy 6.6e4 (1e4)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f5, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.3e5 (1e5)2.6e6 (3e6)2.6e6 (2e6)2.6e6 (5e6)2.6e6 (2e6)2.6e6 (3e6)2.6e6 (2e6)4/15
DE-scipy 1.7e5 (8e4)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f6, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 9.0e4 (3e5)∞∞∞∞∞∞8e50/15
DE-scipy 5.0e4 (2e4)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f7, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f8, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.1e5 (3e5)3.6e6 (2e6)∞∞∞∞∞8e50/15
DE-scipy 1.7e5 (2e5)5.8e6 (5e6)∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f9, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.4e6 (2e6)∞∞∞∞∞∞8e50/15
DE-scipy 4.8e5 (2e6)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f10, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f11, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 751 (596)3.7e6 (2e6)∞∞∞∞∞8e50/15
DE-scipy 4009 (2732)∞∞∞∞∞∞8e50/15
RANDOMSEARCH 1.5e4 (2e4)∞∞∞∞∞∞8e50/15
TPE-hyperopt 1417 (1827)∞∞∞∞∞∞80000/15

Δ fopt
f12, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4.1e5 (4e5)4.2e5 (4e5)4.4e5 (4e5)4.7e5 (5e5)5.4e5 (8e5)6.7e5 (4e5)7.7e5 (8e5)11/15
DE-scipy 7.0e5 (1e6)1.1e6 (8e5)1.2e6 (1e6)1.2e6 (1e6)1.2e6 (1e6)1.5e6 (2e6)1.5e6 (2e6)6/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f13, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 6.7e5 (5e5)7.8e5 (9e5)8.1e5 (8e5)8.4e5 (5e5)9.1e5 (1e6)1.6e6 (2e6)∞8e50/15
DE-scipy 3.3e6 (5e6)5.5e6 (4e6)5.6e6 (8e6)5.6e6 (7e6)5.6e6 (5e6)5.7e6 (3e6)5.7e6 (6e6)2/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f14, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1049 (190)★48.2e5 (2e6)8.4e5 (8e5)1.9e6 (2e6)1.9e6 (3e6)2.5e6 (2e6)2.7e6 (2e6)4/15
DE-scipy 9388 (2737)6.3e4 (5e4)1.8e6 (1e6)5.3e6 (8e6)5.3e6 (7e6)5.3e6 (8e6)5.4e6 (4e6)2/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f15, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f16, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 3.0e4 (3e4)∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f17, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 8.2e5 (7e5)1.2e7 (2e7)∞∞∞∞∞8e50/15
DE-scipy 3.5e6 (4e6)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f18, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 3972 (1144)★4∞∞∞∞∞∞8e50/15
DE-scipy 9.5e4 (5e4)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f19, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f20, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4095 (6560)★27.6e4 (2e5)1.2e7 (2e7)∞∞∞∞8e50/15
DE-scipy 1.5e4 (3140)1.9e4 (4432)∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f21, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.9e5 (6e5)8.7e5 (7e5)3.6e6 (4e6)1.2e7 (1e7)∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f22, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f23, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.2e7 (2e7)∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Δ fopt
f24, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15

Previous dimension | Dimension = 160 | First dimension

Δ fopt
f1, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 7.9e4 (1e4)★4∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f2, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 7.5e4 (3e4)★46.6e6 (8e6)★4∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f3, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 5.7e5 (4e5)★4∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f4, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 1.6e6 (3e6)★4∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f5, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 5.4e6 (3e6)★4∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f6, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 8.8e5 (2e6)★4∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f7, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f8, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 3.8e6 (3e6)★4∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f9, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 5.2e6 (4e6)★4∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f10, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f11, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 1.3e6 (1e6)★4∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f12, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f13, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 4.0e6 (3e6)★42.4e7 (2e7)★42.4e7 (2e7)★4∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f14, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 1.7e4 (4392)★48.2e5 (2e6)★4∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f15, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f16, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f17, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f18, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 1.6e6 (3e6)★4∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f19, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f20, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 4.8e5 (7e5)★41.1e6 (2e6)★4∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f21, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f22, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f23, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Δ fopt
f24, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15

Expected runtime (ERT) to reach given targets, measured in number of function evaluations, in different dimensions. For each function, the ERT  and, in braces as dispersion measure, the half difference between 10 and 90%-tile of (bootstrapped) runtimes is shown for the different target ∆f-values as shown in the top row. #succ is the number of trials that reached the last target fopt+ 10−8. The median number of conducted function evaluations is additionally given in italics, if the target in the last column was never reached. Entries, succeeded by a star, are statistically significantly better (according to the rank-sum test) when compared to all other algorithms of the table, with p = 0.05 or p = 10−k when the number k following the star is larger than 1, with Bonferroni correction by the number of functions (24). Best results are printed in bold.