Overview page

Table showing the ERT in number of evaluations

Last dimension | Dimension = 5 | Next dimension

Δ fopt
f1, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 28 (32)148 (196)190 (187)235 (164)306 (241)430 (240)610 (256)15/15
DE-scipy 24 (32)171 (72)439 (268)567 (212)727 (355)1085 (415)1676 (355)15/15
RANDOMSEARCH 30 (36)2052 (2510)2.0e4 (3e4)6.0e4 (7e4)1.8e5 (2e5)∞∞5e40/15
TPE-hyperopt 26 (26)105 (90)283 (268)429 (336)541 (580)1743 (1888)∞5000/15
CMA-ESwM Hamano.zip 16 (16)130 (84)204 (108)233 (122)271 (106)342 (110)472 (66)15/15
DE-CoBi-r1-L Tanabe.zip 34 (52)480 (440)1164 (342)1392 (491)1774 (740)2760 (752)4095 (1265)15/15
DE-NO-r1-B Tanabe.zip 32 (40)521 (248)1093 (356)1296 (222)1511 (448)2156 (454)2613 (670)15/15
DE-j-r2-B Tanabe.zip 15 (14)520 (304)1005 (435)1226 (421)1782 (571)2237 (598)3678 (744)15/15

Δ fopt
f2, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 145 (104)262 (88)383 (90)460 (98)655 (400)734 (368)988 (270)15/15
DE-scipy 266 (174)528 (135)814 (206)978 (224)1274 (311)1598 (253)1965 (515)15/15
RANDOMSEARCH 932 (840)1.2e4 (6578)1.2e5 (1e5)3.4e5 (4e5)7.1e5 (9e5)∞∞5e40/15
TPE-hyperopt 88 (62)453 (357)3426 (4000)∞∞∞∞5000/15
CMA-ESwM Hamano.zip 155 (102)281 (98)468 (232)600 (308)667 (259)722 (224)848 (210)15/15
DE-CoBi-r1-L Tanabe.zip 598 (386)1220 (413)2053 (590)2551 (442)2884 (452)3867 (1122)5054 (880)15/15
DE-NO-r1-B Tanabe.zip 397 (204)946 (436)1502 (446)1936 (306)2236 (320)2718 (426)3264 (560)15/15
DE-j-r2-B Tanabe.zip 383 (219)1002 (451)1575 (410)2054 (607)2600 (604)3067 (964)4629 (552)15/15

Δ fopt
f3, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 12 (12)431 (242)581 (182)747 (294)2164 (2236)4847 (3972)5751 (4054)15/15
DE-scipy 9.1 (9)270 (146)706 (325)886 (272)1337 (414)1874 (362)2386 (492)15/15
RANDOMSEARCH 11 (12)4874 (6029)1.7e5 (2e5)7.3e5 (9e5)7.3e5 (9e5)∞∞5e40/15
TPE-hyperopt 8.9 (11)176 (102)917 (905)2293 (5210)3657 (4625)∞∞5000/15
CMA-ESwM Hamano.zip 13 (14)805 (2088)1714 (2210)4072 (5465)4276 (5498)4703 (5723)4954 (5860)15/15
DE-CoBi-r1-L Tanabe.zip 10 (6)786 (372)1963 (742)2488 (910)2998 (986)4718 (1771)6546 (2572)15/15
DE-NO-r1-B Tanabe.zip 17 (18)746 (364)1584 (711)1999 (624)2702 (844)3532 (828)4567 (623)15/15
DE-j-r2-B Tanabe.zip 11 (11)703 (318)1980 (426)2370 (1047)3047 (1198)4762 (1896)6878 (1200)15/15

Δ fopt
f4, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 8.3 (13)164 (131)552 (272)2503 (2815)3618 (4344)6044 (6878)9065 (1e4)15/15
DE-scipy 18 (16)455 (207)1035 (358)1323 (470)1576 (605)2137 (582)2998 (834)15/15
RANDOMSEARCH 15 (18)7634 (9736)∞∞∞∞∞5e40/15
TPE-hyperopt 13 (12)171 (182)1263 (1596)3606 (3875)3610 (3694)∞∞5000/15
CMA-ESwM Hamano.zip 26 (26)170 (77)849 (1294)4736 (5019)5562 (4992)8559 (1e4)9813 (1e4)15/15
DE-CoBi-r1-L Tanabe.zip 38 (42)882 (408)2222 (838)2725 (640)3751 (1082)5570 (1438)7625 (1331)15/15
DE-NO-r1-B Tanabe.zip 16 (19)954 (292)2238 (446)2834 (530)3166 (784)4167 (1177)5100 (770)15/15
DE-j-r2-B Tanabe.zip 31 (28)1086 (457)2035 (566)2662 (420)3642 (1024)6272 (2056)8134 (1984)15/15

Δ fopt
f5, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 69 (46)246 (120)272 (112)305 (131)344 (128)517 (152)765 (298)15/15
DE-scipy 343 (138)903 (281)1230 (280)1670 (460)2231 (706)3864 (480)5283 (682)15/15
RANDOMSEARCH 3041 (3752)7.1e5 (1e6)7.1e5 (8e5)∞∞∞∞5e40/15
TPE-hyperopt 44 (26)177 (178)177 (178)177 (178)177 (178)177 (178)177 (178)14/15
CMA-ESwM Hamano.zip 21 (18)50 (56)50 (56)50 (56)50 (56)50 (56)50 (56)15/15
DE-CoBi-r1-L Tanabe.zip 547 (238)1781 (376)2368 (320)3188 (507)4235 (505)6476 (542)8907 (1099)15/15
DE-NO-r1-B Tanabe.zip 711 (282)1860 (312)2405 (426)2814 (336)3520 (412)4577 (494)5948 (446)15/15
DE-j-r2-B Tanabe.zip 728 (454)1827 (342)2357 (393)2919 (528)4058 (840)5677 (874)7762 (1140)15/15

Δ fopt
f6, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 170 (172)351 (268)6638 (2e4)2.6e4 (3e4)3.5e4 (5e4)6.2e4 (8e4)7.9e4 (1e5)6/15
DE-scipy 175 (230)266 (282)1.9e4 (4e4)2.6e4 (5e4)2.7e4 (6e4)2.8e4 (5e4)2.9e4 (4e4)10/15
RANDOMSEARCH 8568 (2e4)2.0e4 (3e4)7.7e4 (1e5)2.3e5 (2e5)3.5e5 (3e5)7.1e5 (9e5)∞5e40/15
TPE-hyperopt 116 (149)144 (190)631 (798)1100 (840)1783 (1344)∞∞5000/15
CMA-ESwM Hamano.zip 72 (115)108 (129)1.3e4 (4e4)2.6e4 (5e4)3.7e4 (7e4)5.9e4 (8e4)6.0e4 (6e4)7/15
DE-CoBi-r1-L Tanabe.zip 558 (702)787 (968)9210 (3e4)1.1e4 (3e4)1.2e4 (3e4)1.5e4 (3e4)1.7e4 (3e4)13/15
DE-NO-r1-B Tanabe.zip 382 (499)637 (804)1.9e4 (4e4)2.7e4 (6e4)3.6e4 (3e4)3.7e4 (5e4)3.8e4 (5e4)9/15
DE-j-r2-B Tanabe.zip 434 (682)631 (950)2.0e4 (5e4)2.1e4 (3e4)2.3e4 (3e4)2.6e4 (3e4)2.9e4 (3e4)11/15

Δ fopt
f7, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 718 (1608)1.4e4 (3e4)1.5e4 (5e4)1.5e4 (3e4)1.5e4 (4e4)1.5e4 (3e4)1.5e4 (3e4)12/15
DE-scipy 127 (118)540 (154)793 (338)998 (220)998 (220)998 (220)1011 (220)15/15
RANDOMSEARCH 414 (610)2.3e4 (3e4)3.5e4 (3e4)9.8e4 (1e5)1.2e5 (2e5)1.2e5 (1e5)1.6e5 (2e5)0/15
TPE-hyperopt 160 (275)845 (671)1278 (1408)1676 (1878)1700 (1503)1700 (1896)2384 (2625)0/15
CMA-ESwM Hamano.zip 337 (690)1635 (1964)4262 (2424)4496 (2442)4496 (2442)4496 (2442)4496 (2442)15/15
DE-CoBi-r1-L Tanabe.zip 314 (298)1622 (545)1840 (740)2376 (817)2376 (817)2376 (817)2534 (1076)15/15
DE-NO-r1-B Tanabe.zip 224 (185)1133 (490)1531 (466)1850 (555)1850 (555)1850 (555)2016 (704)15/15
DE-j-r2-B Tanabe.zip 221 (232)1328 (734)1921 (637)2320 (778)2320 (778)2320 (778)2427 (778)15/15

Δ fopt
f8, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 35 (36)112 (91)190 (120)244 (158)340 (148)573 (224)958 (337)15/15
DE-scipy 45 (54)207 (126)515 (207)685 (222)898 (235)1443 (600)1914 (410)15/15
RANDOMSEARCH 40 (40)1295 (1313)9681 (8360)3.0e4 (5e4)2.2e5 (3e5)7.4e5 (8e5)∞5e40/15
TPE-hyperopt 18 (14)156 (158)946 (1418)948 (1652)983 (882)2361 (2376)∞5000/15
CMA-ESwM Hamano.zip 41 (48)621 (1002)1.1e4 (3e4)1.1e4 (3e4)1.2e4 (3e4)1.2e4 (4e4)1.2e4 (3e4)13/15
DE-CoBi-r1-L Tanabe.zip 39 (54)470 (390)1116 (562)1577 (570)2452 (1034)3781 (1172)5607 (838)15/15
DE-NO-r1-B Tanabe.zip 54 (52)353 (166)822 (370)1197 (388)1396 (486)2360 (452)2995 (629)15/15
DE-j-r2-B Tanabe.zip 35 (44)406 (292)1097 (472)1345 (664)1894 (1168)3448 (2336)6233 (1376)15/15

Δ fopt
f9, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 38 (74)540 (840)6244 (3697)7569 (3855)1.5e4 (3e4)1.7e4 (3e4)1.8e4 (3e4)12/15
DE-scipy 24 (19)261 (146)8504 (3e4)8657 (3e4)8832 (2e4)9510 (3e4)9966 (3e4)13/15
RANDOMSEARCH 20 (22)1222 (1212)1.4e4 (1e4)3.8e4 (4e4)1.0e5 (2e5)7.1e5 (8e5)∞5e40/15
TPE-hyperopt 22 (19)177 (286)667 (532)681 (782)767 (678)1757 (1636)7261 (9750)1/15
CMA-ESwM Hamano.zip 32 (38)1083 (1876)4278 (5960)4647 (5937)1.1e4 (2e4)1.5e4 (3e4)1.6e4 (3e4)13/15
DE-CoBi-r1-L Tanabe.zip 17 (20)602 (495)1955 (837)2496 (1005)3151 (1136)4883 (1466)6499 (1012)15/15
DE-NO-r1-B Tanabe.zip 32 (29)448 (365)1394 (499)1663 (564)2209 (818)3116 (684)3790 (1047)15/15
DE-j-r2-B Tanabe.zip 22 (18)489 (478)4904 (796)5900 (1488)6748 (1480)8457 (3060)1.2e4 (3300)14/15

Δ fopt
f10, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 549 (183)1.3e4 (2e4)3.4e4 (5e4)3.6e4 (7e4)3.7e4 (6e4)4.4e4 (7e4)4.5e4 (7e4)9/15
DE-scipy 311 (313)1.4e4 (3e4)5.9e4 (5e4)5.9e4 (8e4)6.0e4 (5e4)6.1e4 (1e5)6.1e4 (8e4)7/15
RANDOMSEARCH 616 (988)3.7e4 (5e4)1.0e5 (1e5)3.6e5 (3e5)∞∞∞5e40/15
TPE-hyperopt 226 (264)7431 (8125)∞∞∞∞∞5000/15
CMA-ESwM Hamano.zip 1024 (2082)1.9e4 (3e4)3.6e4 (3e4)5.3e4 (5e4)5.3e4 (8e4)5.4e4 (8e4)5.4e4 (8e4)8/15
DE-CoBi-r1-L Tanabe.zip 309 (344)2381 (2006)5344 (2504)6018 (3047)8268 (2776)1.1e4 (3028)1.2e4 (3766)15/15
DE-NO-r1-B Tanabe.zip 330 (292)1555 (744)1.1e4 (3e4)1.2e4 (3e4)1.4e4 (3e4)1.5e4 (2e4)1.6e4 (3e4)13/15
DE-j-r2-B Tanabe.zip 472 (322)2635 (2942)1.1e4 (8111)1.7e4 (1e4)2.2e4 (1e4)4.3e4 (4e4)8.3e4 (7e4)7/15

Δ fopt
f11, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 31 (30)134 (100)3.3e4 (3e4)1.2e5 (1e5)2.2e5 (2e5)∞∞5e40/15
DE-scipy 73 (78)192 (188)2296 (1662)5.0e4 (4e4)1.5e5 (2e5)1.5e5 (1e5)1.5e5 (2e5)4/15
RANDOMSEARCH 98 (98)416 (500)2.7e4 (3e4)7.4e5 (1e6)∞∞∞5e40/15
TPE-hyperopt 53 (47)146 (118)3352 (3250)∞∞∞∞5000/15
CMA-ESwM Hamano.zip 84 (64)305 (202)7.6e4 (9e4)∞∞∞∞5e40/15
DE-CoBi-r1-L Tanabe.zip 111 (119)315 (356)3784 (4583)1.3e4 (7494)2.3e4 (1e4)2.7e4 (1e4)3.0e4 (1e4)15/15
DE-NO-r1-B Tanabe.zip 97 (88)203 (180)3167 (3222)1.6e4 (1e4)2.0e4 (9130)2.4e4 (1e4)2.5e4 (1e4)14/15
DE-j-r2-B Tanabe.zip 72 (122)458 (240)4082 (5192)8.3e4 (9e4)2.3e5 (2e5)7.4e5 (6e5)∞5e40/15

Δ fopt
f12, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2664 (2312)2705 (2352)4447 (2366)4558 (2348)4649 (2338)4985 (2386)5264 (2475)14/15
DE-scipy 477 (272)672 (364)819 (419)1069 (243)1365 (352)1720 (642)2203 (508)15/15
RANDOMSEARCH 2.8e4 (3e4)1.3e5 (1e5)3.6e5 (5e5)7.4e5 (5e5)7.4e5 (7e5)∞∞5e40/15
TPE-hyperopt 355 (434)444 (334)529 (612)592 (463)808 (814)3672 (3997)∞5000/15
CMA-ESwM Hamano.zip 632 (359)684 (350)718 (356)745 (340)830 (378)1016 (366)1490 (2457)15/15
DE-CoBi-r1-L Tanabe.zip 1493 (550)1863 (590)2235 (584)2754 (606)3284 (839)4362 (880)5821 (1190)15/15
DE-NO-r1-B Tanabe.zip 1117 (436)1344 (260)1503 (325)1890 (502)2315 (596)2808 (710)3498 (574)15/15
DE-j-r2-B Tanabe.zip 1089 (774)1375 (751)1940 (853)2433 (867)2964 (912)4228 (2198)5891 (1738)15/15

Δ fopt
f13, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 804 (1511)896 (1470)1069 (1504)1313 (1716)1607 (1734)2263 (1748)3005 (1486)15/15
DE-scipy 324 (114)726 (308)1164 (460)1655 (526)2184 (613)3249 (707)4118 (694)15/15
RANDOMSEARCH 6632 (9136)8.6e4 (9e4)2.2e5 (2e5)7.0e5 (6e5)∞∞∞5e40/15
TPE-hyperopt 226 (148)364 (310)649 (433)3582 (6125)7259 (6625)∞∞5000/15
CMA-ESwM Hamano.zip 1254 (2786)1505 (2768)1594 (2845)1729 (2840)1887 (2804)2278 (3032)2666 (3160)15/15
DE-CoBi-r1-L Tanabe.zip 977 (401)1717 (752)3133 (1004)4401 (1363)5805 (1201)8993 (946)1.2e4 (1865)15/15
DE-NO-r1-B Tanabe.zip 669 (347)1379 (306)1952 (402)2551 (605)3352 (580)4521 (616)5833 (636)15/15
DE-j-r2-B Tanabe.zip 905 (418)1686 (506)2968 (1026)4446 (1210)5846 (1494)8803 (1666)1.2e4 (2273)15/15

Δ fopt
f14, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 5.2 (6)158 (116)271 (125)406 (200)548 (306)1116 (378)1773 (634)15/15
DE-scipy 6.5 (6)161 (123)456 (178)757 (336)1188 (524)2446 (786)3324 (1043)15/15
RANDOMSEARCH 5.1 (5)904 (806)3.3e4 (3e4)2.3e5 (2e5)7.3e5 (5e5)∞∞5e40/15
TPE-hyperopt 6.5 (6)66 (58)263 (172)456 (280)1353 (938)∞∞5000/15
CMA-ESwM Hamano.zip 10 (9)91 (94)239 (150)298 (127)416 (132)646 (132)1024 (191)15/15
DE-CoBi-r1-L Tanabe.zip 8.3 (10)328 (366)1268 (680)1965 (750)2954 (784)6047 (1592)8952 (1938)15/15
DE-NO-r1-B Tanabe.zip 19 (13)356 (263)869 (365)1655 (502)2084 (589)3271 (660)4453 (862)15/15
DE-j-r2-B Tanabe.zip 6.7 (7)276 (389)1106 (561)1975 (483)2575 (498)5069 (1836)8148 (1042)15/15

Δ fopt
f15, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 19 (15)1159 (1512)2949 (5985)3164 (6054)4141 (8306)4977 (8392)5293 (8677)15/15
DE-scipy 10 (8)8474 (3e4)8742 (3e4)9087 (3e4)9448 (3e4)1.0e4 (3e4)1.1e4 (3e4)13/15
RANDOMSEARCH 18 (20)5.1e4 (8e4)2.3e5 (2e5)7.4e5 (1e6)∞∞∞5e40/15
TPE-hyperopt 11 (15)1614 (1191)2194 (1998)2237 (2496)3404 (3248)∞∞5000/15
CMA-ESwM Hamano.zip 18 (18)2516 (3839)3359 (4178)5270 (4967)8018 (5042)8195 (5100)8459 (5220)14/15
DE-CoBi-r1-L Tanabe.zip 20 (23)1864 (1104)2781 (1363)3360 (1337)5028 (2288)8090 (1968)9272 (1852)15/15
DE-NO-r1-B Tanabe.zip 15 (16)1475 (996)2416 (1280)3637 (1514)4413 (1372)5218 (1468)6012 (1478)15/15
DE-j-r2-B Tanabe.zip 17 (18)2157 (942)3415 (1924)4706 (4402)6238 (4688)1.1e4 (6504)1.5e4 (7920)15/15

Δ fopt
f16, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 404 (504)2.3e5 (2e5)7.2e5 (1e6)7.2e5 (8e5)7.2e5 (8e5)7.2e5 (1e6)7.2e5 (5e5)1/15
DE-scipy 314 (413)1.0e5 (1e5)3.3e5 (3e5)3.3e5 (4e5)3.3e5 (4e5)3.3e5 (5e5)3.3e5 (3e5)2/15
RANDOMSEARCH 307 (326)3.6e4 (4e4)8.5e4 (7e4)1.3e5 (1e5)2.4e5 (2e5)7.2e5 (6e5)∞5e40/15
TPE-hyperopt 129 (96)∞∞∞∞∞∞5000/15
CMA-ESwM Hamano.zip 933 (1054)9.3e4 (1e5)1.6e5 (2e5)3.5e5 (4e5)3.5e5 (3e5)7.1e5 (9e5)7.1e5 (1e6)1/15
DE-CoBi-r1-L Tanabe.zip 348 (387)1.5e4 (1e4)2.6e4 (3e4)3.0e4 (3e4)3.3e4 (3e4)3.6e4 (3e4)3.7e4 (3e4)13/15
DE-NO-r1-B Tanabe.zip 286 (302)4.3e4 (8e4)8.7e4 (1e5)9.0e4 (8e4)9.0e4 (1e5)9.2e4 (1e5)9.2e4 (9e4)6/15
DE-j-r2-B Tanabe.zip 362 (296)3.9e4 (7e4)6.4e4 (8e4)1.6e5 (2e5)3.6e5 (5e5)7.3e5 (5e5)∞5e40/15

Δ fopt
f17, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 495 (181)615 (264)819 (274)1070 (286)1343 (278)2079 (542)3250 (2020)15/15
DE-scipy 372 (274)880 (503)1360 (652)1939 (794)2366 (420)3369 (708)4516 (750)15/15
RANDOMSEARCH 1.0e4 (1e4)7.7e4 (9e4)7.1e5 (9e5)∞∞∞∞5e40/15
TPE-hyperopt 454 (894)736 (673)1309 (1311)7410 (1e4)∞∞∞5000/15
CMA-ESwM Hamano.zip 740 (1662)806 (1698)1061 (1770)1187 (1726)1361 (1772)1690 (1622)2105 (1808)15/15
DE-CoBi-r1-L Tanabe.zip 1106 (490)2297 (1112)3389 (1134)5038 (1010)6685 (953)9782 (1079)1.3e4 (1512)15/15
DE-NO-r1-B Tanabe.zip 816 (605)1509 (442)2207 (834)2995 (420)3574 (517)4846 (489)6351 (485)15/15
DE-j-r2-B Tanabe.zip 984 (471)1966 (783)3008 (1317)4556 (1264)5979 (1290)8931 (1768)1.2e4 (1389)15/15

Δ fopt
f18, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 183 (105)4568 (2150)4689 (2165)4969 (2124)5253 (2088)6118 (2070)6811 (1810)13/15
DE-scipy 233 (156)4259 (420)4698 (550)5332 (800)5947 (787)7130 (696)8154 (747)14/15
RANDOMSEARCH 943 (720)4.9e4 (8e4)7.0e5 (1e6)∞∞∞∞5e40/15
TPE-hyperopt 142 (171)493 (516)810 (836)1387 (948)∞∞∞5000/15
CMA-ESwM Hamano.zip 108 (84)762 (1268)2180 (1619)2501 (1674)2631 (1609)3134 (1737)3810 (1817)15/15
DE-CoBi-r1-L Tanabe.zip 431 (278)1752 (710)3252 (582)4276 (788)6471 (1310)9762 (1118)1.3e4 (1668)15/15
DE-NO-r1-B Tanabe.zip 214 (234)1390 (618)2137 (682)2707 (748)3494 (500)4989 (538)6212 (737)15/15
DE-j-r2-B Tanabe.zip 395 (229)1620 (866)3373 (930)4756 (1874)6232 (1545)9730 (1812)1.3e4 (2108)15/15

Δ fopt
f19, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1279 (2352)1.5e4 (3e4)2.2e4 (3e4)2.3e4 (3e4)2.3e4 (3e4)2.4e4 (3e4)2.4e4 (3e4)12/15
DE-scipy 3181 (3156)1.3e4 (3e4)1.4e4 (3e4)1.5e4 (3e4)1.5e4 (3e4)1.6e4 (2e4)1.7e4 (3e4)13/15
RANDOMSEARCH 1.3e4 (1e4)9.3e4 (7e4)1.5e5 (2e5)3.3e5 (4e5)7.1e5 (8e5)∞∞5e40/15
TPE-hyperopt 3506 (4690)∞∞∞∞∞∞5000/15
CMA-ESwM Hamano.zip 2983 (3296)2.9e4 (3e4)3.3e4 (7e4)3.4e4 (4e4)3.5e4 (4e4)3.5e4 (3e4)3.5e4 (5e4)11/15
DE-CoBi-r1-L Tanabe.zip 3450 (3193)1.9e4 (2e4)2.6e4 (3e4)3.6e4 (6e4)4.8e4 (5e4)6.8e4 (6e4)1.1e5 (1e5)4/15
DE-NO-r1-B Tanabe.zip 2750 (1998)7261 (5449)8710 (6722)1.1e4 (6808)1.5e4 (8196)1.9e4 (6102)2.2e4 (5135)15/15
DE-j-r2-B Tanabe.zip 2560 (2531)8071 (7852)1.1e4 (1e4)1.6e4 (2e4)3.4e4 (3e4)1.2e5 (2e5)∞5e40/15

Δ fopt
f20, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 17 (21)21 (22)829 (1560)1350 (2476)1843 (2430)3230 (4597)3678 (4588)15/15
DE-scipy 60 (31)77 (38)401 (262)2.6e4 (5e4)2.6e4 (4e4)2.7e4 (5e4)2.7e4 (4e4)10/15
RANDOMSEARCH 47 (44)71 (87)7632 (6791)2.3e5 (2e5)∞∞∞5e40/15
TPE-hyperopt 20 (15)21 (15)362 (300)2327 (1838)2371 (1896)7264 (8250)∞5000/15
CMA-ESwM Hamano.zip 47 (36)66 (40)656 (1037)3608 (4328)4134 (4357)5451 (7368)5830 (7668)15/15
DE-CoBi-r1-L Tanabe.zip 35 (30)53 (78)810 (642)2070 (952)2707 (1418)5069 (2640)7369 (980)15/15
DE-NO-r1-B Tanabe.zip 50 (45)64 (54)1026 (398)1871 (613)2678 (814)3638 (728)4669 (845)15/15
DE-j-r2-B Tanabe.zip 37 (40)58 (47)1090 (493)1821 (982)3111 (734)4753 (1802)7360 (2680)15/15

Δ fopt
f21, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 254 (75)1.7e4 (3e4)2.7e4 (3e4)3.2e4 (6e4)3.2e4 (5e4)3.3e4 (4e4)3.3e4 (3e4)10/15
DE-scipy 89 (87)1.3e4 (3e4)1.3e4 (3e4)1.3e4 (3e4)1.4e4 (4e4)1.4e4 (4e4)1.4e4 (3e4)12/15
RANDOMSEARCH 100 (136)1627 (2440)1.8e4 (3e4)3.2e4 (5e4)5.9e4 (9e4)1.6e5 (2e5)3.3e5 (7e5)0/15
TPE-hyperopt 43 (64)783 (896)1014 (1195)1321 (1229)1667 (2232)1673 (1160)1764 (1590)3/15
CMA-ESwM Hamano.zip 235 (206)7709 (5588)1.2e4 (2e4)1.3e4 (2e4)1.3e4 (2e4)1.4e4 (2e4)1.4e4 (2e4)14/15
DE-CoBi-r1-L Tanabe.zip 98 (150)1015 (919)2280 (1266)2731 (1898)3001 (1898)4125 (1586)4777 (2060)15/15
DE-NO-r1-B Tanabe.zip 40 (40)4278 (794)5117 (1134)5652 (1036)5869 (1358)6135 (1126)6304 (1146)14/15
DE-j-r2-B Tanabe.zip 141 (168)1244 (1308)2634 (3544)3117 (3469)3526 (3282)4311 (3364)5911 (3725)15/15

Δ fopt
f22, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4693 (1602)2.8e4 (3e4)4.0e4 (6e4)5.1e4 (9e4)5.6e4 (7e4)6.7e4 (8e4)6.7e4 (9e4)7/15
DE-scipy 160 (183)4189 (644)8780 (3e4)8878 (2e4)9056 (3e4)9269 (3e4)9713 (3e4)13/15
RANDOMSEARCH 264 (372)3085 (3473)1.8e4 (3e4)3.5e4 (3e4)6.0e4 (6e4)1.6e5 (1e5)3.5e5 (3e5)1/15
TPE-hyperopt 193 (255)832 (596)1366 (1354)2407 (2720)2414 (2250)3624 (2718)3642 (2975)2/15
CMA-ESwM Hamano.zip 687 (1100)1.1e4 (2e4)5.1e4 (5e4)6.5e4 (7e4)8.0e4 (9e4)8.0e4 (7e4)1.1e5 (2e5)5/15
DE-CoBi-r1-L Tanabe.zip 247 (347)1709 (1682)3402 (2886)4194 (2896)4871 (2497)5607 (3550)6573 (2444)15/15
DE-NO-r1-B Tanabe.zip 176 (226)1486 (1894)2745 (2609)3206 (2884)3382 (3032)3795 (3102)4309 (3146)15/15
DE-j-r2-B Tanabe.zip 304 (308)2275 (3568)6519 (4932)7636 (5024)8791 (4315)1.1e4 (4006)1.2e4 (6488)14/15

Δ fopt
f23, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e4 (2e4)∞∞∞∞∞∞5e40/15
DE-scipy 2.2e4 (3e4)∞∞∞∞∞∞5e40/15
RANDOMSEARCH 2.6e4 (3e4)∞∞∞∞∞∞5e40/15
TPE-hyperopt 7475 (1e4)∞∞∞∞∞∞5000/15
CMA-ESwM Hamano.zip 4.7e4 (6e4)∞∞∞∞∞∞5e40/15
DE-CoBi-r1-L Tanabe.zip 1.7e4 (2e4)∞∞∞∞∞∞5e40/15
DE-NO-r1-B Tanabe.zip 2.4e4 (3e4)∞∞∞∞∞∞5e40/15
DE-j-r2-B Tanabe.zip 3.8e4 (4e4)∞∞∞∞∞∞5e40/15

Δ fopt
f24, 5-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.3 (1)2.1e4 (3e4)3.6e4 (5e4)4.7e4 (5e4)4.9e4 (5e4)5.1e4 (5e4)5.2e4 (9e4)8/15
DE-scipy 1.2 (0)3.5e4 (3e4)3.5e4 (8e4)3.6e4 (5e4)3.6e4 (5e4)3.8e4 (5e4)3.8e4 (5e4)9/15
RANDOMSEARCH 1.9 (1)8.8e4 (1e5)7.1e5 (7e5)7.1e5 (1e6)∞∞∞5e40/15
TPE-hyperopt 2.1 (2)∞∞∞∞∞∞5000/15
CMA-ESwM Hamano.zip 4.1 (4)1.5e5 (1e5)3.3e5 (3e5)3.3e5 (5e5)7.1e5 (1e6)7.1e5 (7e5)7.1e5 (6e5)1/15
DE-CoBi-r1-L Tanabe.zip 2.3 (2)1.2e4 (9042)1.9e4 (1e4)2.4e4 (1e4)2.6e4 (2e4)3.2e4 (1e4)3.5e4 (8184)14/15
DE-NO-r1-B Tanabe.zip 2.3 (2)5850 (5715)1.4e4 (7377)1.7e4 (6684)1.9e4 (6786)2.1e4 (7648)2.3e4 (8607)15/15
DE-j-r2-B Tanabe.zip 2.3 (2)1.4e4 (2e4)6.4e4 (8e4)1.0e5 (9e4)1.6e5 (2e5)∞∞5e40/15

Previous dimension | Dimension = 10 | Next dimension

Δ fopt
f1, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 84 (59)480 (238)577 (209)716 (218)1077 (530)2005 (523)3058 (682)15/15
DE-scipy 254 (60)1309 (388)1879 (590)2435 (480)2947 (624)4362 (941)5720 (810)15/15
RANDOMSEARCH 4965 (7082)∞∞∞∞∞∞1e50/15
TPE-hyperopt 175 (112)1716 (1499)∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 101 (60)427 (126)576 (117)620 (138)752 (206)1077 (192)1454 (206)15/15
DE-CoBi-r1-L Tanabe.zip 666 (275)2432 (425)3765 (594)4948 (588)5962 (700)8622 (1166)1.2e4 (919)15/15
DE-NO-r1-B Tanabe.zip 516 (460)2167 (500)3180 (699)3712 (542)4445 (738)5926 (865)7437 (995)15/15
DE-j-r2-B Tanabe.zip 642 (332)2152 (401)3399 (588)4351 (684)5152 (582)7450 (999)1.0e4 (1277)15/15

Δ fopt
f2, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 592 (196)1047 (368)1806 (950)2518 (926)3087 (2175)3461 (1957)4426 (1206)15/15
DE-scipy 1085 (298)1777 (298)2461 (654)3016 (568)3492 (628)4800 (1077)6059 (1125)15/15
RANDOMSEARCH 1.4e6 (2e6)∞∞∞∞∞∞1e50/15
TPE-hyperopt 2316 (1506)∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 866 (408)1223 (366)1547 (511)1925 (476)2065 (461)2369 (578)3325 (713)15/15
DE-CoBi-r1-L Tanabe.zip 2633 (526)4589 (844)5928 (888)7449 (740)8604 (643)1.1e4 (767)1.4e4 (1057)15/15
DE-NO-r1-B Tanabe.zip 1692 (372)2891 (408)4006 (364)4898 (447)5679 (522)7045 (448)8551 (646)15/15
DE-j-r2-B Tanabe.zip 2194 (292)3790 (374)5044 (886)6109 (600)6876 (507)9519 (1125)1.2e4 (1104)15/15

Δ fopt
f3, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 83 (53)2847 (3351)7983 (9516)3.5e4 (6e4)4.8e4 (6e4)5.0e4 (6e4)5.2e4 (6e4)12/15
DE-scipy 376 (153)1840 (737)4282 (1354)4862 (1160)5506 (1000)7105 (1077)8080 (1593)15/15
RANDOMSEARCH 2207 (3318)∞∞∞∞∞∞1e50/15
TPE-hyperopt 138 (112)1.5e4 (2e4)∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 174 (92)2515 (1940)8645 (1e4)7.0e4 (8e4)7.0e4 (1e5)8.1e4 (6e4)8.2e4 (1e5)9/15
DE-CoBi-r1-L Tanabe.zip 549 (356)3685 (926)7225 (1748)8975 (1889)1.1e4 (1764)1.5e4 (1582)1.8e4 (1276)15/15
DE-NO-r1-B Tanabe.zip 436 (319)2816 (740)6679 (1767)9003 (1674)1.1e4 (2108)1.3e4 (1700)1.4e4 (1784)15/15
DE-j-r2-B Tanabe.zip 573 (328)3102 (459)6595 (1058)9493 (1868)1.2e4 (2463)1.7e4 (1384)1.9e4 (1226)15/15

Δ fopt
f4, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 78 (57)7414 (9854)1.3e4 (1e4)7.8e4 (1e5)1.4e5 (2e5)2.2e5 (2e5)2.2e5 (3e5)5/15
DE-scipy 383 (281)2402 (414)4965 (1346)2.1e4 (5e4)2.2e4 (5e4)2.4e4 (5e4)2.5e4 (5e4)13/15
RANDOMSEARCH 6775 (1e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 165 (153)∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 283 (176)2899 (7064)8670 (7440)2.3e5 (3e5)4.1e5 (8e5)4.1e5 (5e5)4.1e5 (5e5)3/15
DE-CoBi-r1-L Tanabe.zip 811 (333)4319 (602)7670 (1600)9676 (1956)1.2e4 (1481)1.6e4 (1190)1.9e4 (1268)15/15
DE-NO-r1-B Tanabe.zip 625 (411)3722 (722)7976 (1140)9501 (2339)1.1e4 (1342)1.3e4 (1490)1.5e4 (1880)15/15
DE-j-r2-B Tanabe.zip 835 (328)4007 (610)7746 (1804)1.1e4 (2508)1.4e4 (2354)1.8e4 (1960)2.1e4 (2412)15/15

Δ fopt
f5, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 285 (120)719 (462)761 (418)926 (405)1301 (514)2628 (948)3797 (973)15/15
DE-scipy 1764 (186)3617 (826)5234 (716)7241 (909)9010 (1625)1.3e4 (1599)1.7e4 (2104)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt 441 (534)7378 (9982)7378 (7991)7378 (5241)7378 (4982)7378 (6241)7378 (6732)2/15
CMA-ESwM Hamano.zip 92 (62)★2248 (174)★2248 (174)★3248 (174)★3248 (174)★4248 (174)★4248 (174)★415/15
DE-CoBi-r1-L Tanabe.zip 2954 (481)4512 (472)6317 (823)8332 (862)1.1e4 (921)1.5e4 (1117)2.0e4 (1017)15/15
DE-NO-r1-B Tanabe.zip 2937 (610)4667 (642)5884 (784)7006 (769)8448 (890)1.1e4 (691)1.3e4 (750)15/15
DE-j-r2-B Tanabe.zip 2700 (372)4512 (384)5907 (614)7879 (637)9600 (742)1.3e4 (908)1.7e4 (486)15/15

Δ fopt
f6, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 843 (1948)924 (2150)2.9e5 (5e5)1.4e6 (2e6)∞∞∞1e50/15
DE-scipy 720 (689)949 (712)2.8e5 (5e5)6.5e5 (9e5)1.4e6 (2e6)1.4e6 (2e6)1.4e6 (3e6)1/15
RANDOMSEARCH 4.2e4 (7e4)1.8e5 (2e5)∞∞∞∞∞1e50/15
TPE-hyperopt 429 (526)878 (818)∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 172 (200)1566 (628)2.8e5 (3e5)1.4e6 (2e6)∞∞∞1e50/15
DE-CoBi-r1-L Tanabe.zip 1219 (982)1702 (900)6.6e5 (6e5)1.4e6 (2e6)∞∞∞1e50/15
DE-NO-r1-B Tanabe.zip 997 (476)1513 (774)2.0e5 (2e5)1.4e6 (2e6)∞∞∞1e50/15
DE-j-r2-B Tanabe.zip 1131 (1066)1783 (1203)2.8e5 (4e5)6.7e5 (6e5)1.4e6 (2e6)1.5e6 (1e6)1.5e6 (1e6)1/15

Δ fopt
f7, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1901 (3536)1.6e4 (2e4)1.7e4 (2e4)1.8e4 (2e4)1.8e4 (2e4)1.8e4 (2e4)1.8e4 (2e4)14/15
DE-scipy 1519 (380)1.9e4 (5e4)2.0e4 (5e4)2.0e4 (5e4)2.1e4 (5e4)2.1e4 (5e4)2.1e4 (5e4)13/15
RANDOMSEARCH 1.5e6 (1e6)∞∞∞∞∞∞1e50/15
TPE-hyperopt 2593 (3663)∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 4603 (1308)8.4e4 (1e5)9.9e4 (2e5)9.9e4 (1e5)9.9e4 (1e5)9.9e4 (1e5)9.9e4 (1e5)8/15
DE-CoBi-r1-L Tanabe.zip 2910 (1640)8596 (2960)1.1e4 (3179)1.2e4 (3548)1.2e4 (3548)1.2e4 (3548)1.3e4 (3273)15/15
DE-NO-r1-B Tanabe.zip 1937 (998)4929 (1882)6100 (1841)6954 (1902)7214 (1787)7214 (1787)7384 (1978)15/15
DE-j-r2-B Tanabe.zip 2682 (1110)7876 (3428)1.0e4 (2980)1.3e4 (5280)1.3e4 (5280)1.3e4 (5280)1.4e4 (5280)15/15

Δ fopt
f8, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 207 (116)415 (218)★25766 (9260)6044 (9330)6257 (9458)7231 (9344)8423 (9196)15/15
DE-scipy 459 (244)1583 (594)2906 (1458)3522 (1219)4162 (1644)6167 (1814)7977 (1602)15/15
RANDOMSEARCH 1.4e4 (2e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 269 (176)4534 (3573)∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 306 (212)1065 (424)1.1e5 (1e5)1.1e5 (1e5)1.1e5 (1e5)1.1e5 (2e5)1.1e5 (1e5)8/15
DE-CoBi-r1-L Tanabe.zip 915 (461)3178 (779)6152 (1278)8283 (2206)1.0e4 (1812)1.5e4 (1412)1.9e4 (1666)15/15
DE-NO-r1-B Tanabe.zip 698 (412)2588 (598)4143 (1304)5419 (1039)6102 (1128)8241 (880)9961 (1105)15/15
DE-j-r2-B Tanabe.zip 917 (457)2825 (770)5727 (1176)7851 (2510)1.1e4 (4204)2.4e4 (8507)3.5e4 (6613)15/15

Δ fopt
f9, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 889 (1021)7.3e4 (7e4)1.4e5 (2e5)1.4e5 (3e5)1.4e5 (2e5)1.4e5 (2e5)1.4e5 (1e5)7/15
DE-scipy 465 (203)1.2e5 (2e5)2.8e5 (3e5)2.8e5 (3e5)2.8e5 (3e5)2.8e5 (3e5)2.8e5 (3e5)4/15
RANDOMSEARCH 6632 (7556)∞∞∞∞∞∞1e50/15
TPE-hyperopt 239 (288)7050 (1e4)1.4e4 (2e4)∞∞∞∞10000/15
CMA-ESwM Hamano.zip 382 (222)6.8e4 (9e4)1.3e5 (1e5)1.3e5 (2e5)1.3e5 (1e5)1.3e5 (1e5)1.4e5 (2e5)8/15
DE-CoBi-r1-L Tanabe.zip 854 (370)1.4e4 (3216)1.7e4 (2547)1.9e4 (2884)2.1e4 (3030)2.4e4 (2014)2.7e4 (2732)14/15
DE-NO-r1-B Tanabe.zip 488 (195)1.1e4 (2168)3.1e4 (5e4)3.2e4 (5e4)3.3e4 (5e4)3.5e4 (5e4)3.6e4 (8e4)12/15
DE-j-r2-B Tanabe.zip 544 (343)2.3e4 (5e4)5.0e4 (6e4)5.3e4 (5e4)5.7e4 (6e4)6.8e4 (6e4)7.8e4 (5e4)11/15

Δ fopt
f10, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.7e4 (2e4)1.3e5 (2e5)4.5e5 (4e5)4.6e5 (4e5)4.6e5 (6e5)4.6e5 (4e5)4.6e5 (4e5)3/15
DE-scipy 3224 (1497)4.1e5 (5e5)6.6e5 (5e5)6.6e5 (6e5)6.6e5 (7e5)6.7e5 (1e6)6.7e5 (1e6)2/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt 7272 (8778)∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 4.6e4 (5e4)6.8e5 (8e5)1.4e6 (2e6)1.4e6 (1e6)1.4e6 (3e6)1.4e6 (1e6)1.4e6 (1e6)1/15
DE-CoBi-r1-L Tanabe.zip 4337 (2822)2.7e4 (2e4)4.4e4 (3e4)5.1e4 (3e4)5.4e4 (3e4)5.8e4 (3e4)6.2e4 (3e4)14/15
DE-NO-r1-B Tanabe.zip 3968 (2232)8.4e4 (6e4)2.2e5 (2e5)2.2e5 (2e5)2.2e5 (5e5)2.3e5 (2e5)2.3e5 (2e5)5/15
DE-j-r2-B Tanabe.zip 6408 (6766)2.2e5 (3e5)6.9e5 (6e5)7.2e5 (7e5)1.5e6 (2e6)∞∞1e50/15

Δ fopt
f11, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 51 (46)368 (266)7.0e5 (1e6)∞∞∞∞1e50/15
DE-scipy 96 (92)447 (504)3.4e4 (3e4)3.4e5 (3e5)∞∞∞1e50/15
RANDOMSEARCH 134 (96)1202 (1224)7.1e5 (1e6)∞∞∞∞1e50/15
TPE-hyperopt 95 (116)449 (542)∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 60 (68)5937 (9024)6.9e5 (7e5)∞∞∞∞1e50/15
DE-CoBi-r1-L Tanabe.zip 132 (124)361 (436)6.1e4 (4e4)4.8e5 (5e5)7.3e5 (1e6)1.5e6 (1e6)1.5e6 (1e6)1/15
DE-NO-r1-B Tanabe.zip 147 (148)374 (225)1.3e5 (2e5)1.5e6 (8e5)1.5e6 (2e6)∞∞1e50/15
DE-j-r2-B Tanabe.zip 145 (135)416 (336)4.6e5 (4e5)∞∞∞∞1e50/15

Δ fopt
f12, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1434 (132)1617 (300)2054 (1098)2585 (1224)3387 (1588)4620 (1614)5792 (1854)15/15
DE-scipy 1994 (468)2540 (474)3040 (646)3630 (1032)4268 (1374)5668 (1246)6849 (1626)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt ∞∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 1712 (2238)2309 (2645)2428 (2663)2564 (2604)2763 (2564)3208 (2592)3658 (2848)15/15
DE-CoBi-r1-L Tanabe.zip 4635 (706)5609 (517)6893 (944)8264 (976)9717 (1112)1.3e4 (1176)1.5e4 (2292)15/15
DE-NO-r1-B Tanabe.zip 3253 (744)3878 (974)4605 (474)5587 (1036)6073 (1088)7716 (728)9024 (454)15/15
DE-j-r2-B Tanabe.zip 3887 (738)4787 (892)6046 (900)7339 (1228)9079 (1574)1.1e4 (1557)1.5e4 (2832)15/15

Δ fopt
f13, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1022 (932)2540 (4274)3356 (4251)4502 (4286)5496 (3982)7959 (3767)3.5e4 (3e4)1/15
DE-scipy 1809 (495)2803 (834)4296 (763)5685 (1196)7093 (1312)9572 (1566)1.2e4 (2407)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt 7114 (7923)∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 4316 (1e4)4686 (1e4)5086 (1e4)5602 (1e4)6232 (1e4)7159 (1e4)8244 (1e4)15/15
DE-CoBi-r1-L Tanabe.zip 4032 (526)6686 (864)1.0e4 (1078)1.3e4 (984)1.6e4 (1312)2.3e4 (986)2.9e4 (1566)15/15
DE-NO-r1-B Tanabe.zip 2854 (751)4603 (640)6233 (646)7603 (614)9045 (686)1.2e4 (1292)1.5e4 (878)15/15
DE-j-r2-B Tanabe.zip 3822 (1173)6457 (1304)8951 (2002)1.2e4 (1942)1.5e4 (2474)2.1e4 (2986)2.6e4 (3539)15/15

Δ fopt
f14, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 24 (22)1304 (2308)1744 (3566)2389 (3754)3227 (3396)5311 (3435)7434 (3339)15/15
DE-scipy 68 (79)953 (351)9336 (550)1.0e4 (500)1.2e4 (1754)1.5e4 (1577)1.8e4 (2121)14/15
RANDOMSEARCH 139 (161)7.2e5 (1e6)∞∞∞∞∞1e50/15
TPE-hyperopt 26 (12)741 (684)1.5e4 (2e4)∞∞∞∞10000/15
CMA-ESwM Hamano.zip 50 (34)381 (200)584 (268)733 (210)1035 (196)1754 (322)2553 (340)15/15
DE-CoBi-r1-L Tanabe.zip 199 (200)2551 (630)4815 (747)6617 (932)9156 (1974)1.6e4 (2884)2.3e4 (2484)15/15
DE-NO-r1-B Tanabe.zip 105 (136)1783 (696)3292 (534)4222 (758)5599 (780)8534 (584)1.1e4 (1006)15/15
DE-j-r2-B Tanabe.zip 113 (150)2286 (649)4212 (590)5842 (908)8151 (1456)1.5e4 (4489)2.5e4 (8504)15/15

Δ fopt
f15, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 220 (166)1.7e4 (1e4)2.0e4 (2e4)2.4e4 (2e4)2.5e4 (2e4)2.6e4 (2e4)2.7e4 (2e4)15/15
DE-scipy 560 (422)1.7e5 (2e5)1.7e5 (2e5)1.7e5 (2e5)1.7e5 (3e5)1.7e5 (2e5)1.8e5 (3e5)6/15
RANDOMSEARCH 2.5e4 (5e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 520 (500)∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 206 (104)1.6e5 (2e5)2.1e5 (2e5)2.1e5 (2e5)2.1e5 (2e5)2.1e5 (4e5)2.1e5 (2e5)5/15
DE-CoBi-r1-L Tanabe.zip 1092 (722)3.8e4 (5e4)4.9e4 (5e4)5.6e4 (5e4)5.8e4 (5e4)6.1e4 (5e4)6.4e4 (5e4)13/15
DE-NO-r1-B Tanabe.zip 849 (568)2.0e4 (1e4)2.5e4 (2e4)3.0e4 (1e4)3.1e4 (1e4)3.2e4 (1e4)3.4e4 (1e4)15/15
DE-j-r2-B Tanabe.zip 1027 (458)3.1e4 (2e4)5.4e4 (3e4)8.7e4 (6e4)1.9e5 (2e5)7.3e5 (6e5)7.3e5 (1e6)2/15

Δ fopt
f16, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2464 (2556)∞∞∞∞∞∞1e50/15
DE-scipy 1.4e4 (2e4)∞∞∞∞∞∞1e50/15
RANDOMSEARCH 2.4e4 (3e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 4612 (5368)∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 1.3e4 (1e4)∞∞∞∞∞∞1e50/15
DE-CoBi-r1-L Tanabe.zip 5799 (5843)∞∞∞∞∞∞1e50/15
DE-NO-r1-B Tanabe.zip 1.7e4 (2e4)∞∞∞∞∞∞1e50/15
DE-j-r2-B Tanabe.zip 7401 (6207)∞∞∞∞∞∞1e50/15

Δ fopt
f17, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4926 (9722)5377 (9881)6282 (9817)7511 (9897)8564 (9972)1.1e4 (9620)2.6e4 (2e4)2/15
DE-scipy 1960 (943)3596 (1214)5090 (1795)6448 (1719)8067 (1776)1.0e4 (2188)1.3e4 (2771)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt ∞∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 2261 (3212)1.0e4 (4930)1.1e4 (4994)1.1e4 (5180)1.2e4 (5139)1.3e4 (5176)1.4e4 (5294)14/15
DE-CoBi-r1-L Tanabe.zip 4272 (1330)8603 (1300)1.1e4 (1529)1.5e4 (1554)1.9e4 (1758)2.5e4 (2143)3.3e4 (1978)15/15
DE-NO-r1-B Tanabe.zip 2844 (464)4772 (572)6426 (526)7935 (1220)9641 (869)1.2e4 (1036)1.6e4 (997)15/15
DE-j-r2-B Tanabe.zip 4343 (1712)7866 (1952)1.2e4 (1866)1.5e4 (3234)1.9e4 (3846)2.5e4 (3445)3.2e4 (4386)15/15

Δ fopt
f18, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 244 (189)8911 (2e4)9684 (2e4)1.1e4 (2e4)1.2e4 (2e4)1.4e4 (2e4)2.1e4 (2e4)2/15
DE-scipy 1025 (504)1.2e4 (3423)1.3e4 (3616)1.5e4 (3312)1.6e4 (4707)1.9e4 (4509)2.2e4 (5086)14/15
RANDOMSEARCH 9.0e4 (8e4)∞∞∞∞∞∞1e50/15
TPE-hyperopt 711 (730)∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 407 (222)3.0e4 (5e4)4.0e4 (8e4)4.0e4 (6e4)4.1e4 (1e5)4.2e4 (5e4)4.3e4 (5e4)11/15
DE-CoBi-r1-L Tanabe.zip 1815 (748)8263 (1675)1.2e4 (1956)1.5e4 (2064)1.9e4 (1808)2.6e4 (1469)3.4e4 (2406)15/15
DE-NO-r1-B Tanabe.zip 1268 (716)4554 (754)6651 (993)8146 (1139)9934 (904)1.3e4 (1308)1.6e4 (1134)15/15
DE-j-r2-B Tanabe.zip 1518 (608)7663 (2194)1.2e4 (3637)1.8e4 (3742)2.2e4 (4648)2.9e4 (4298)3.7e4 (3934)15/15

Δ fopt
f19, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.6e5 (1e5)7.0e5 (7e5)7.0e5 (6e5)7.0e5 (5e5)7.0e5 (8e5)7.1e5 (1e6)7.1e5 (9e5)2/15
DE-scipy ∞∞∞∞∞∞∞1e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt ∞∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 9.2e4 (8e4)3.2e5 (6e5)3.2e5 (2e5)3.2e5 (3e5)3.2e5 (3e5)3.2e5 (3e5)3.2e5 (4e5)4/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞1e50/15
DE-NO-r1-B Tanabe.zip 1.5e6 (2e6)1.5e6 (1e6)∞∞∞∞∞1e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞1e50/15

Δ fopt
f20, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 47 (24)76 (61)6172 (7133)8.2e4 (1e5)1.1e5 (1e5)1.1e5 (1e5)1.1e5 (1e5)9/15
DE-scipy 245 (204)367 (156)1.8e4 (5e4)1.2e5 (1e5)1.2e5 (2e5)1.2e5 (1e5)1.2e5 (1e5)7/15
RANDOMSEARCH 842 (912)2732 (2881)∞∞∞∞∞1e50/15
TPE-hyperopt 145 (119)206 (239)1.4e4 (1e4)∞∞∞∞10000/15
CMA-ESwM Hamano.zip 302 (145)345 (154)3099 (2828)4.7e4 (2e4)5.2e4 (2e4)5.5e4 (3e4)5.6e4 (3e4)14/15
DE-CoBi-r1-L Tanabe.zip 575 (349)636 (498)3796 (1198)1.0e4 (1908)1.3e4 (3565)2.0e4 (1878)2.4e4 (2104)15/15
DE-NO-r1-B Tanabe.zip 511 (176)614 (197)4324 (1474)9113 (2572)1.2e4 (2676)1.5e4 (2202)1.6e4 (2252)15/15
DE-j-r2-B Tanabe.zip 511 (281)733 (338)4229 (908)1.0e4 (2546)1.5e4 (3823)2.6e4 (4088)3.4e4 (2352)15/15

Δ fopt
f21, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e4 (2e4)9.8e4 (2e5)1.2e5 (2e5)1.2e5 (1e5)1.3e5 (2e5)1.3e5 (2e5)1.3e5 (2e5)7/15
DE-scipy 824 (758)2.7e4 (5e4)2.7e4 (5e4)2.8e4 (5e4)2.8e4 (5e4)2.9e4 (5e4)3.0e4 (5e4)12/15
RANDOMSEARCH 7821 (7719)7.0e5 (9e5)∞∞∞∞∞1e50/15
TPE-hyperopt 586 (532)1724 (1783)7267 (6242)∞∞∞∞10000/15
CMA-ESwM Hamano.zip 9944 (1e4)3.7e4 (6e4)5.1e4 (6e4)5.7e4 (6e4)5.7e4 (6e4)7.1e4 (9e4)7.1e4 (1e5)10/15
DE-CoBi-r1-L Tanabe.zip 1166 (817)3418 (1706)5755 (1757)7125 (2119)7626 (1964)9008 (1842)1.1e4 (1884)15/15
DE-NO-r1-B Tanabe.zip 963 (454)9496 (1308)1.0e4 (1353)1.1e4 (1777)1.2e4 (1823)1.2e4 (1702)1.3e4 (1568)14/15
DE-j-r2-B Tanabe.zip 1289 (958)3614 (2526)5789 (4314)8161 (7873)8959 (8018)1.2e4 (1e4)1.4e4 (1e4)15/15

Δ fopt
f22, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.6e5 (2e5)6.7e5 (6e5)7.0e5 (8e5)7.0e5 (5e5)7.0e5 (7e5)7.0e5 (6e5)7.0e5 (7e5)2/15
DE-scipy 5.1e4 (5e4)5.3e4 (5e4)1.2e5 (2e5)1.2e5 (1e5)1.2e5 (1e5)1.2e5 (2e5)1.2e5 (1e5)7/15
RANDOMSEARCH 5.4e4 (7e4)1.5e6 (2e6)∞∞∞∞∞1e50/15
TPE-hyperopt 2416 (3500)1.5e4 (2e4)∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 2.4e5 (3e5)∞∞∞∞∞∞1e50/15
DE-CoBi-r1-L Tanabe.zip 2772 (2323)2.6e4 (5e4)3.9e4 (5e4)4.1e4 (5e4)4.3e4 (5e4)4.4e4 (5e4)4.7e4 (8e4)12/15
DE-NO-r1-B Tanabe.zip 1.8e4 (5e4)5.7e4 (8e4)1.6e5 (3e5)1.6e5 (3e5)1.6e5 (3e5)1.6e5 (3e5)1.6e5 (2e5)6/15
DE-j-r2-B Tanabe.zip 2.2e4 (5e4)6.5e4 (6e4)8.5e4 (1e5)1.1e5 (1e5)1.1e5 (1e5)1.4e5 (2e5)1.7e5 (2e5)6/15

Δ fopt
f23, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.6e5 (2e5)∞∞∞∞∞∞1e50/15
DE-scipy 7.1e5 (7e5)∞∞∞∞∞∞1e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞1e50/15
TPE-hyperopt ∞∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 2.3e5 (3e5)∞∞∞∞∞∞1e50/15
DE-CoBi-r1-L Tanabe.zip 1.4e6 (1e6)∞∞∞∞∞∞1e50/15
DE-NO-r1-B Tanabe.zip 3.3e5 (4e5)∞∞∞∞∞∞1e50/15
DE-j-r2-B Tanabe.zip 4.5e5 (5e5)∞∞∞∞∞∞1e50/15

Δ fopt
f24, 10-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 131 (79)5.2e4 (6e4)7.0e4 (5e4)7.1e4 (8e4)7.2e4 (6e4)7.3e4 (6e4)7.4e4 (6e4)12/15
DE-scipy 415 (274)6.7e5 (9e5)6.7e5 (7e5)6.7e5 (5e5)6.8e5 (9e5)6.8e5 (9e5)6.8e5 (9e5)2/15
RANDOMSEARCH 1665 (1606)∞∞∞∞∞∞1e50/15
TPE-hyperopt 252 (190)∞∞∞∞∞∞10000/15
CMA-ESwM Hamano.zip 217 (140)4.5e5 (6e5)4.6e5 (6e5)4.6e5 (4e5)4.6e5 (5e5)4.6e5 (6e5)4.6e5 (5e5)3/15
DE-CoBi-r1-L Tanabe.zip 617 (526)∞∞∞∞∞∞1e50/15
DE-NO-r1-B Tanabe.zip 469 (268)2.7e5 (3e5)4.7e5 (7e5)7.3e5 (7e5)∞∞∞1e50/15
DE-j-r2-B Tanabe.zip 509 (330)∞∞∞∞∞∞1e50/15

Previous dimension | Dimension = 20 | Next dimension

Δ fopt
f1, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2176 (3370)7548 (9824)7710 (9760)8123 (9516)9524 (8410)1.3e4 (5802)1.6e4 (3696)15/15
DE-scipy 1809 (604)4841 (1624)6959 (1812)8137 (1828)9964 (2070)1.3e4 (2542)1.6e4 (1970)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 4342 (5160)∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 592 (189)1121 (232)1377 (252)1593 (174)1847 (304)★43033 (317)3961 (212)15/15
DE-CoBi-r1-L Tanabe.zip 3779 (607)8214 (1035)1.2e4 (1112)1.4e4 (1098)1.7e4 (1302)2.3e4 (1457)2.9e4 (1152)15/15
DE-NO-r1-B Tanabe.zip 2839 (570)6414 (1129)8677 (1140)1.1e4 (1098)1.3e4 (1643)1.7e4 (1174)2.0e4 (1657)15/15
DE-j-r2-B Tanabe.zip 3065 (419)6438 (797)8695 (960)1.0e4 (1132)1.2e4 (1510)1.7e4 (1239)2.1e4 (1448)15/15

Δ fopt
f2, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2191 (858)4402 (1420)1.6e4 (1e4)2.1e4 (2e4)2.4e4 (2e4)2.5e4 (2e4)3.2e4 (4e4)15/15
DE-scipy 2973 (645)4863 (1160)7168 (1392)8956 (1665)1.1e4 (2246)1.5e4 (2910)1.8e4 (3774)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 3875 (2106)4607 (1786)1.1e4 (1e4)1.3e4 (1e4)1.3e4 (1e4)1.5e4 (1e4)1.7e4 (1e4)15/15
DE-CoBi-r1-L Tanabe.zip 7789 (504)1.2e4 (884)1.5e4 (1038)1.8e4 (1149)2.1e4 (759)2.6e4 (1082)3.2e4 (1527)15/15
DE-NO-r1-B Tanabe.zip 4717 (368)7803 (772)1.1e4 (883)1.3e4 (836)1.4e4 (1064)1.9e4 (1130)2.2e4 (1240)15/15
DE-j-r2-B Tanabe.zip 5821 (566)8725 (832)1.2e4 (950)1.3e4 (970)1.5e4 (1257)1.9e4 (800)2.4e4 (1458)15/15

Δ fopt
f3, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 531 (213)★32.5e4 (2e4)1.7e5 (1e5)8.8e5 (9e5)8.8e5 (1e6)8.9e5 (8e5)8.9e5 (9e5)3/15
DE-scipy 2328 (706)4.1e4 (1e5)7.2e4 (1e5)5.7e5 (8e5)5.7e5 (7e5)5.8e5 (6e5)5.8e5 (7e5)4/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 7184 (9017)∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 1042 (231)1.2e4 (2e4)2.2e5 (3e5)1.3e6 (2e6)1.3e6 (1e6)1.3e6 (2e6)1.3e6 (2e6)2/15
DE-CoBi-r1-L Tanabe.zip 4196 (874)1.2e4 (1469)2.2e4 (2970)2.8e4 (2413)3.1e4 (1296)3.7e4 (1912)4.3e4 (2268)15/15
DE-NO-r1-B Tanabe.zip 3427 (1000)1.5e4 (4398)5.0e4 (6728)5.5e4 (6092)5.7e4 (6906)6.1e4 (6764)6.5e4 (6548)15/15
DE-j-r2-B Tanabe.zip 3413 (548)9651 (1766)2.1e4 (2801)2.8e4 (3604)3.2e4 (3750)3.8e4 (2688)4.3e4 (1880)15/15

Δ fopt
f4, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 667 (246)★34.7e4 (5e4)∞∞∞∞∞2e50/15
DE-scipy 3115 (984)6.1e4 (1e5)1.6e5 (2e5)1.3e6 (2e6)1.3e6 (2e6)1.3e6 (2e6)1.3e6 (2e6)2/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 1261 (548)2.2e4 (2e4)2.9e6 (3e6)∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 6297 (910)1.5e4 (1356)2.5e4 (2870)3.2e4 (1615)3.5e4 (1198)4.1e4 (1772)4.9e4 (1256)15/15
DE-NO-r1-B Tanabe.zip 5076 (758)2.0e4 (5093)5.2e4 (8774)8.8e4 (1e5)9.1e4 (1e5)9.5e4 (1e5)9.9e4 (1e5)13/15
DE-j-r2-B Tanabe.zip 4769 (704)1.1e4 (1324)2.3e4 (4736)3.1e4 (2353)3.5e4 (2888)4.1e4 (3352)4.7e4 (3478)15/15

Δ fopt
f5, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1089 (969)6040 (5902)6124 (5762)6823 (4996)8171 (4022)1.1e4 (1782)1.5e4 (1784)15/15
DE-scipy 1.0e4 (1493)1.5e4 (3385)2.2e4 (2813)2.9e4 (2631)3.6e4 (2759)5.0e4 (4436)6.2e4 (4417)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 232 (227)★3490 (258)★3490 (258)★3490 (258)★4490 (258)★4490 (258)★4490 (258)★415/15
DE-CoBi-r1-L Tanabe.zip 8321 (896)1.2e4 (1039)1.5e4 (1076)1.9e4 (755)2.3e4 (1641)3.1e4 (1477)3.9e4 (1838)15/15
DE-NO-r1-B Tanabe.zip 8297 (1005)1.2e4 (1229)1.5e4 (1383)1.8e4 (1580)2.1e4 (1096)2.7e4 (1687)3.3e4 (1858)15/15
DE-j-r2-B Tanabe.zip 6968 (274)9444 (608)1.3e4 (1132)1.6e4 (454)2.0e4 (818)2.6e4 (910)3.3e4 (1183)15/15

Δ fopt
f6, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.6e4 (6556)4.2e4 (1e5)∞∞∞∞∞2e50/15
DE-scipy 1.8e4 (3199)5.7e4 (1e5)1.4e6 (1e6)∞∞∞∞2e50/15
RANDOMSEARCH 3.0e6 (4e6)∞∞∞∞∞∞2e50/15
TPE-hyperopt 3949 (4010)∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 1.8e4 (1e4)1.5e5 (2e5)∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 7417 (6800)4.5e4 (1e5)1.4e6 (2e6)∞∞∞∞2e50/15
DE-NO-r1-B Tanabe.zip 5525 (6238)4.1e4 (1e5)1.3e6 (2e6)∞∞∞∞2e50/15
DE-j-r2-B Tanabe.zip 6500 (6991)4.3e4 (1e5)1.4e6 (2e6)∞∞∞∞2e50/15

Δ fopt
f7, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 6.6e4 (1e5)9.5e4 (1e5)9.7e4 (1e5)9.8e4 (1e5)9.8e4 (1e5)9.8e4 (1e5)9.8e4 (1e5)13/15
DE-scipy 6.0e4 (2e5)3.1e5 (5e5)3.1e5 (5e5)3.2e5 (5e5)3.2e5 (3e5)3.2e5 (4e5)3.2e5 (2e5)6/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 2.4e5 (3e5)1.3e6 (1e6)1.3e6 (1e6)1.3e6 (2e6)1.3e6 (2e6)1.3e6 (1e6)1.3e6 (2e6)2/15
DE-CoBi-r1-L Tanabe.zip 2.1e4 (4780)3.8e4 (1e4)4.3e4 (1e4)4.7e4 (1e4)4.7e4 (1e4)4.7e4 (1e4)4.8e4 (1e4)15/15
DE-NO-r1-B Tanabe.zip 4.3e4 (1e5)5.2e4 (1e5)5.5e4 (1e5)5.7e4 (1e5)5.7e4 (1e5)5.7e4 (1e5)5.7e4 (1e5)13/15
DE-j-r2-B Tanabe.zip 2.4e4 (7662)6.2e4 (3e4)7.7e4 (5e4)9.7e4 (6e4)9.7e4 (6e4)9.7e4 (6e4)1.0e5 (5e4)14/15

Δ fopt
f8, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1965 (2168)7315 (6647)1.3e6 (2e6)1.3e6 (2e6)1.3e6 (1e6)1.3e6 (1e6)1.3e6 (1e6)2/15
DE-scipy 2420 (1021)5958 (1840)3.1e5 (5e5)3.2e5 (5e5)3.2e5 (4e5)3.3e5 (5e5)3.4e5 (4e5)6/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 2.9e4 (4e4)∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 1433 (1142)1.8e4 (4664)6.1e5 (1e6)6.1e5 (8e5)6.1e5 (6e5)6.1e5 (8e5)6.1e5 (6e5)4/15
DE-CoBi-r1-L Tanabe.zip 4854 (1216)1.2e4 (1736)3.8e4 (8240)4.6e4 (7663)5.1e4 (6360)6.0e4 (5778)7.1e4 (5920)14/15
DE-NO-r1-B Tanabe.zip 3539 (706)9381 (2242)1.5e5 (2e5)1.6e5 (2e5)1.8e5 (2e5)2.1e5 (4e5)2.2e5 (2e5)8/15
DE-j-r2-B Tanabe.zip 4048 (403)1.1e4 (1808)1.1e5 (1e5)1.4e5 (1e5)1.8e5 (2e5)2.6e5 (2e5)7.3e5 (8e5)1/15

Δ fopt
f9, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.1e4 (7252)2.8e6 (6e6)2.8e6 (2e6)2.8e6 (2e6)2.8e6 (4e6)2.8e6 (4e6)2.8e6 (4e6)1/15
DE-scipy 2461 (560)∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 3.0e4 (3e4)∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 3082 (5345)∞∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 7246 (2436)4.3e5 (4e5)4.3e5 (5e5)4.4e5 (5e5)4.4e5 (4e5)4.5e5 (5e5)4.5e5 (6e5)5/15
DE-NO-r1-B Tanabe.zip 3396 (1265)2.8e6 (3e6)2.8e6 (3e6)2.8e6 (4e6)2.8e6 (4e6)2.8e6 (3e6)2.8e6 (4e6)1/15
DE-j-r2-B Tanabe.zip 5162 (904)5.8e5 (5e5)6.1e5 (9e5)6.3e5 (8e5)6.5e5 (8e5)9.1e5 (1e6)9.3e5 (1e6)3/15

Δ fopt
f10, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.3e5 (3e5)∞∞∞∞∞∞2e50/15
DE-scipy 3.0e5 (3e5)∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 9.3e4 (3e4)∞∞∞∞∞∞2e50/15
DE-NO-r1-B Tanabe.zip 1.3e5 (1e5)∞∞∞∞∞∞2e50/15
DE-j-r2-B Tanabe.zip 4.3e5 (4e5)∞∞∞∞∞∞2e50/15

Δ fopt
f11, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 68 (62)1.3e4 (2e4)∞∞∞∞∞2e50/15
DE-scipy 119 (115)2965 (5348)∞∞∞∞∞2e50/15
RANDOMSEARCH 271 (199)1.6e4 (2e4)∞∞∞∞∞2e50/15
TPE-hyperopt 59 (52)6895 (8582)∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 76 (84)1.4e5 (1e5)∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 131 (124)3421 (3040)1.5e6 (1e6)∞∞∞∞2e50/15
DE-NO-r1-B Tanabe.zip 144 (227)3830 (3651)∞∞∞∞∞2e50/15
DE-j-r2-B Tanabe.zip 197 (191)7218 (5510)∞∞∞∞∞2e50/15

Δ fopt
f12, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 9731 (1e4)1.1e4 (1e4)1.2e4 (2e4)1.4e4 (2e4)1.7e4 (2e4)2.1e4 (1e4)2.6e4 (1e4)15/15
DE-scipy 2.1e4 (1996)2.2e4 (2332)2.4e4 (3705)2.7e4 (3962)2.8e4 (4204)3.1e4 (4400)3.5e4 (4710)14/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 6787 (5566)7098 (5505)8468 (7580)8857 (7550)9395 (7738)1.1e4 (7518)1.2e4 (8142)15/15
DE-CoBi-r1-L Tanabe.zip 1.2e4 (2223)1.5e4 (1176)1.8e4 (1314)2.1e4 (1690)2.4e4 (1170)3.0e4 (1386)3.6e4 (1524)15/15
DE-NO-r1-B Tanabe.zip 9163 (600)1.1e4 (1032)1.3e4 (859)1.5e4 (933)1.7e4 (1018)2.0e4 (1103)2.4e4 (986)15/15
DE-j-r2-B Tanabe.zip 9475 (880)1.1e4 (1308)1.4e4 (1558)1.6e4 (1031)1.8e4 (1813)2.3e4 (1258)2.9e4 (1480)15/15

Δ fopt
f13, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 7976 (1e4)1.0e4 (1e4)1.4e4 (1e4)1.9e4 (1e4)2.3e4 (1e4)3.2e4 (1e4)1.5e6 (2e6)0/15
DE-scipy 6828 (1940)1.0e4 (2341)1.4e4 (2156)1.7e4 (2566)2.1e4 (2730)2.7e4 (3162)3.4e4 (3601)15/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 3556 (3576)5178 (9003)6014 (9088)7141 (9402)8301 (9532)1.0e4 (9886)1.3e4 (1e4)15/15
DE-CoBi-r1-L Tanabe.zip 1.2e4 (1750)1.8e4 (2070)2.4e4 (2364)3.0e4 (1964)3.7e4 (2518)4.9e4 (3264)6.3e4 (3216)15/15
DE-NO-r1-B Tanabe.zip 8985 (1232)1.3e4 (1356)1.7e4 (1476)2.1e4 (1620)2.5e4 (2098)3.2e4 (2059)3.9e4 (1666)15/15
DE-j-r2-B Tanabe.zip 9725 (1754)1.4e4 (1684)2.0e4 (1674)2.5e4 (2328)3.0e4 (2879)4.1e4 (4091)5.1e4 (4732)15/15

Δ fopt
f14, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 113 (43)★35573 (9997)6891 (1e4)9518 (1e4)1.3e4 (1e4)2.1e4 (1e4)2.9e4 (1e4)15/15
DE-scipy 757 (319)4210 (1586)7383 (1828)1.1e4 (2214)1.4e4 (3042)2.3e4 (4651)3.5e4 (7934)15/15
RANDOMSEARCH 5.2e4 (5e4)∞∞∞∞∞∞2e50/15
TPE-hyperopt 510 (380)∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 439 (230)1115 (317)1583 (438)1975 (352)★32850 (488)4836 (702)7192 (940)15/15
DE-CoBi-r1-L Tanabe.zip 1333 (636)8318 (1296)1.4e4 (1500)1.9e4 (1526)2.6e4 (1332)4.2e4 (3162)6.1e4 (5640)15/15
DE-NO-r1-B Tanabe.zip 987 (328)5576 (743)9791 (1302)1.3e4 (1374)1.7e4 (1175)2.5e4 (1724)3.3e4 (2270)15/15
DE-j-r2-B Tanabe.zip 1258 (593)6769 (962)1.1e4 (1276)1.5e4 (2422)2.2e4 (3544)5.5e4 (2e4)1.2e5 (3e4)15/15

Δ fopt
f15, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.0e4 (2e4)1.1e5 (1e5)1.1e5 (1e5)1.2e5 (1e5)1.2e5 (1e5)1.2e5 (1e5)1.3e5 (1e5)13/15
DE-scipy 1.3e5 (1e5)∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 8.2e4 (2e5)∞∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 5.8e4 (3e4)2.9e6 (4e6)2.9e6 (3e6)2.9e6 (3e6)2.9e6 (3e6)2.9e6 (3e6)2.9e6 (3e6)1/15
DE-NO-r1-B Tanabe.zip 7.4e4 (7e4)1.5e6 (2e6)1.5e6 (2e6)3.0e6 (4e6)3.0e6 (4e6)3.0e6 (2e6)3.0e6 (3e6)1/15
DE-j-r2-B Tanabe.zip 6.7e4 (3e4)∞∞∞∞∞∞2e50/15

Δ fopt
f16, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 9208 (8652)∞∞∞∞∞∞2e50/15
DE-scipy ∞∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 2.9e5 (3e5)∞∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 1.2e5 (4e4)∞∞∞∞∞∞2e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e50/15
DE-j-r2-B Tanabe.zip 1.8e5 (2e5)∞∞∞∞∞∞2e50/15

Δ fopt
f17, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.0e4 (4e4)2.6e4 (4e4)3.1e4 (4e4)3.6e4 (4e4)4.0e4 (4e4)4.9e4 (3e4)5.8e5 (6e5)0/15
DE-scipy 2.2e4 (1747)6.2e4 (1e5)6.6e4 (1e5)6.9e4 (1e5)7.3e4 (1e5)7.8e4 (1e5)8.5e4 (1e5)12/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 1.7e4 (8324)4.4e4 (1e5)4.5e4 (1e5)4.7e4 (1e5)4.8e4 (1e5)5.1e4 (1e5)5.4e4 (1e5)13/15
DE-CoBi-r1-L Tanabe.zip 1.6e4 (4616)2.7e4 (4384)3.4e4 (2656)4.2e4 (3685)4.9e4 (4378)6.3e4 (4602)7.8e4 (5668)15/15
DE-NO-r1-B Tanabe.zip 8994 (2460)1.5e4 (2723)1.9e4 (2158)2.3e4 (2187)2.7e4 (2111)3.3e4 (2188)4.3e4 (1965)15/15
DE-j-r2-B Tanabe.zip 1.2e4 (2322)2.1e4 (3288)2.9e4 (3380)3.5e4 (4201)4.3e4 (4420)5.5e4 (4754)6.9e4 (6345)15/15

Δ fopt
f18, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 935 (730)3.7e4 (4e4)4.0e4 (4e4)4.4e4 (4e4)4.9e4 (4e4)5.8e4 (3e4)1.4e5 (5e4)0/15
DE-scipy 4974 (2796)6.4e4 (1e5)6.9e4 (1e5)7.3e4 (1e5)7.6e4 (1e5)8.3e4 (1e5)9.0e4 (1e5)12/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 990 (420)1.1e5 (2e5)1.1e5 (2e5)1.1e5 (2e5)1.1e5 (2e5)1.2e5 (2e5)1.2e5 (2e5)10/15
DE-CoBi-r1-L Tanabe.zip 8330 (3122)2.8e4 (4610)3.8e4 (4699)4.6e4 (5113)5.3e4 (5676)6.8e4 (6212)8.3e4 (5602)15/15
DE-NO-r1-B Tanabe.zip 4197 (1516)1.4e4 (2234)1.8e4 (2444)2.2e4 (2163)2.7e4 (2094)3.5e4 (2254)4.3e4 (3262)15/15
DE-j-r2-B Tanabe.zip 6498 (1924)2.5e4 (4433)3.6e4 (7454)4.7e4 (6849)5.5e4 (5577)7.0e4 (6958)8.5e4 (5944)15/15

Δ fopt
f19, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e6 (1e6)1.5e6 (1e6)1.5e6 (2e6)1.5e6 (1e6)1.5e6 (2e6)1.5e6 (3e6)2.9e6 (3e6)1/15
DE-scipy ∞∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞2e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e50/15

Δ fopt
f20, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 289 (190)★2355 (146)★43.8e4 (4e4)1.5e6 (2e6)∞∞∞2e50/15
DE-scipy 1301 (435)1611 (516)4.6e4 (1e5)2.8e6 (2e6)∞∞∞2e50/15
RANDOMSEARCH 2.9e6 (5e6)∞∞∞∞∞∞2e50/15
TPE-hyperopt 1165 (754)1921 (1257)∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 850 (198)944 (243)2.0e4 (3e4)5.2e5 (6e5)∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 2988 (754)3642 (1016)1.4e4 (2806)3.5e4 (9140)5.1e4 (7127)6.1e4 (6718)6.8e4 (6133)15/15
DE-NO-r1-B Tanabe.zip 1635 (430)2207 (576)1.7e4 (4537)4.1e4 (1e4)6.3e4 (1e4)6.7e4 (1e4)7.1e4 (1e4)14/15
DE-j-r2-B Tanabe.zip 2454 (390)2905 (792)1.1e4 (2370)2.8e4 (7942)4.9e4 (1e4)9.8e4 (3e4)1.2e5 (3e4)15/15

Δ fopt
f21, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.4e4 (3e4)1.1e5 (1e5)1.2e5 (1e5)1.2e5 (2e5)1.2e5 (1e5)1.2e5 (2e5)1.2e5 (2e5)11/15
DE-scipy 1.7e4 (1142)5.6e4 (1e5)8.2e4 (1e5)8.3e4 (1e5)8.4e4 (2e5)8.5e4 (2e5)8.8e4 (1e5)11/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt 3516 (2360)∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 2.8e4 (4e4)1.0e5 (1e5)1.5e5 (2e5)1.5e5 (2e5)1.5e5 (2e5)1.5e5 (2e5)1.5e5 (2e5)9/15
DE-CoBi-r1-L Tanabe.zip 4768 (1861)2.5e4 (6640)4.5e4 (1e5)4.8e4 (1e5)5.0e4 (1e5)5.3e4 (1e5)5.6e4 (1e5)13/15
DE-NO-r1-B Tanabe.zip 1.7e4 (1453)5.6e4 (1e5)5.8e4 (1e5)6.1e4 (1e5)6.1e4 (1e5)6.3e4 (1e5)6.5e4 (1e5)12/15
DE-j-r2-B Tanabe.zip 4642 (3420)4.4e4 (1e5)5.0e4 (1e5)5.5e4 (1e5)5.7e4 (2e5)6.2e4 (1e5)6.7e4 (1e5)13/15

Δ fopt
f22, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 8.4e5 (1e6)∞∞∞∞∞∞2e50/15
DE-scipy 8.1e5 (1e6)2.8e6 (3e6)∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 1.3e6 (2e6)∞∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 5.6e5 (8e5)2.8e6 (3e6)∞∞∞∞∞2e50/15
DE-NO-r1-B Tanabe.zip 8.1e5 (8e5)2.8e6 (3e6)∞∞∞∞∞2e50/15
DE-j-r2-B Tanabe.zip 4.5e5 (5e5)2.8e6 (5e6)∞∞∞∞∞2e50/15

Δ fopt
f23, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞2e50/15
DE-scipy ∞∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 3.0e6 (4e6)∞∞∞∞∞∞2e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e50/15

Δ fopt
f24, 20-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.2e5 (1e5)4.8e5 (5e5)4.8e5 (4e5)4.9e5 (4e5)5.9e5 (6e5)7.4e5 (6e5)7.4e5 (8e5)4/15
DE-scipy 1.8e5 (2e5)∞∞∞∞∞∞2e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e50/15
TPE-hyperopt ∞∞∞∞∞∞∞20000/15
CMA-ESwM Hamano.zip 1.8e5 (3e5)∞∞∞∞∞∞2e50/15
DE-CoBi-r1-L Tanabe.zip 3.8e5 (3e5)∞∞∞∞∞∞2e50/15
DE-NO-r1-B Tanabe.zip 3.7e5 (4e5)∞∞∞∞∞∞2e50/15
DE-j-r2-B Tanabe.zip 5.5e5 (6e5)∞∞∞∞∞∞2e50/15

Previous dimension | Dimension = 40 | Next dimension

Δ fopt
f1, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e4 (2e4)4.2e4 (5e4)4.2e4 (6e4)4.5e4 (5e4)5.3e4 (5e4)7.0e4 (5e4)8.7e4 (5e4)15/15
DE-scipy 8636 (2819)4.5e4 (5327)8.9e4 (2e5)9.2e4 (2e5)9.6e4 (2e5)1.0e5 (2e5)1.1e5 (2e5)13/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 2239 (849)3993 (2022)4522 (2228)5079 (2058)5992 (1916)8350 (1843)1.1e4 (1698)15/15
DE-CoBi-r1-L Tanabe.zip 1.2e4 (1072)2.2e4 (1882)2.8e4 (1398)3.4e4 (2436)4.0e4 (2416)5.2e4 (1892)6.3e4 (3204)15/15
DE-NO-r1-B Tanabe.zip 9778 (1790)1.8e4 (2284)2.4e4 (2221)2.9e4 (2800)3.5e4 (2780)4.4e4 (3476)5.3e4 (4116)15/15
DE-j-r2-B Tanabe.zip 7951 (744)1.3e4 (780)1.7e4 (815)2.0e4 (1068)2.4e4 (1140)3.3e4 (1833)4.1e4 (1802)15/15

Δ fopt
f2, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.1e4 (1751)6.4e4 (2e4)2.9e5 (4e5)4.5e5 (5e5)4.5e5 (4e5)4.5e5 (4e5)4.5e5 (4e5)8/15
DE-scipy 1.0e4 (1948)1.7e4 (2474)5.3e4 (5931)8.9e4 (2e5)9.4e4 (2e5)1.0e5 (2e5)1.1e5 (2e5)13/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 3.5e4 (2e4)3.7e4 (2e4)4.3e4 (2e4)5.6e4 (6e4)5.8e4 (6e4)6.1e4 (7e4)6.6e4 (6e4)15/15
DE-CoBi-r1-L Tanabe.zip 2.2e4 (1538)3.1e4 (2361)3.8e4 (1583)4.4e4 (996)4.9e4 (1752)6.1e4 (2718)7.3e4 (1752)15/15
DE-NO-r1-B Tanabe.zip 1.3e4 (1092)2.2e4 (1943)3.0e4 (3092)3.6e4 (2888)4.1e4 (3560)5.0e4 (3318)5.9e4 (4925)15/15
DE-j-r2-B Tanabe.zip 1.3e4 (1318)1.9e4 (914)2.3e4 (916)2.7e4 (1141)3.0e4 (1274)3.8e4 (1856)4.6e4 (2654)15/15

Δ fopt
f3, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4467 (4746)6.0e5 (3e5)∞∞∞∞∞4e50/15
DE-scipy 1.7e4 (4340)6.7e5 (1e6)5.7e6 (8e6)∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 6105 (1148)2.1e5 (4e5)∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 1.6e4 (1770)4.0e4 (2442)6.1e4 (3640)7.0e4 (2342)7.5e4 (2760)8.8e4 (2675)1.0e5 (3102)15/15
DE-NO-r1-B Tanabe.zip 1.7e4 (3992)2.0e5 (3e4)3.3e5 (2e5)7.3e5 (1e6)7.3e5 (9e5)7.4e5 (5e5)7.5e5 (6e5)7/15
DE-j-r2-B Tanabe.zip 1.1e4 (1272)2.7e4 (2008)5.1e4 (3932)6.1e4 (2102)6.8e4 (2361)7.7e4 (2635)8.5e4 (2613)15/15

Δ fopt
f4, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.2e4 (1e4)5.9e6 (1e7)∞∞∞∞∞4e50/15
DE-scipy 2.2e4 (3909)5.2e5 (7e5)∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 2.5e4 (2e4)3.8e5 (4e5)∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 2.3e4 (1958)4.6e4 (2796)6.9e4 (3730)7.9e4 (3300)8.6e4 (3085)1.0e5 (2402)1.1e5 (2598)15/15
DE-NO-r1-B Tanabe.zip 2.9e4 (5570)1.9e5 (5e4)1.0e6 (1e6)5.8e6 (4e6)5.8e6 (6e6)5.8e6 (5e6)5.9e6 (1e7)1/15
DE-j-r2-B Tanabe.zip 1.4e4 (1376)3.1e4 (2390)5.7e4 (4200)6.8e4 (4230)7.4e4 (4806)8.5e4 (5276)9.5e4 (4686)15/15

Δ fopt
f5, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.8e4 (2e4)7.5e4 (8e4)7.5e4 (8e4)7.6e4 (8e4)7.9e4 (8e4)8.8e4 (6e4)1.0e5 (5e4)15/15
DE-scipy 4.2e4 (7980)1.8e5 (2e5)2.0e5 (2e5)2.2e5 (2e5)2.4e5 (2e5)2.8e5 (2e5)3.3e5 (2e5)12/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 887 (370)★31451 (780)★31458 (792)★41458 (792)★41458 (792)★41458 (792)★41458 (792)★415/15
DE-CoBi-r1-L Tanabe.zip 2.1e4 (1029)2.8e4 (1132)3.5e4 (1300)4.2e4 (1793)5.0e4 (1814)6.4e4 (1786)7.9e4 (2825)15/15
DE-NO-r1-B Tanabe.zip 2.2e4 (2794)3.0e4 (2110)3.8e4 (1548)4.6e4 (2232)5.4e4 (3213)7.0e4 (3498)8.5e4 (4085)15/15
DE-j-r2-B Tanabe.zip 1.4e4 (768)2.0e4 (1615)2.6e4 (1758)3.2e4 (1846)3.8e4 (2236)5.0e4 (2862)6.2e4 (2896)15/15

Δ fopt
f6, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4.5e4 (7e4)2.9e6 (2e6)∞∞∞∞∞4e50/15
DE-scipy 1.7e4 (6864)5.9e5 (7e5)∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt 5.9e4 (5e4)∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 9.6e4 (2e5)2.6e6 (3e6)∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 2.2e4 (2e4)3.0e5 (5e5)∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip 1.7e4 (9178)2.7e5 (3e5)∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip 1.9e4 (1e4)4.6e5 (6e5)∞∞∞∞∞4e50/15

Δ fopt
f7, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4.8e5 (5e5)1.4e6 (1e6)1.4e6 (1e6)1.4e6 (1e6)1.4e6 (1e6)1.4e6 (1e6)1.4e6 (2e6)4/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 3.1e5 (3e5)1.2e6 (1e6)1.2e6 (2e6)1.2e6 (2e6)1.2e6 (2e6)1.2e6 (9e5)1.2e6 (2e6)4/15
DE-NO-r1-B Tanabe.zip 2.7e5 (2e5)2.7e6 (3e6)2.7e6 (3e6)2.7e6 (2e6)2.7e6 (4e6)2.7e6 (3e6)2.7e6 (3e6)2/15
DE-j-r2-B Tanabe.zip 2.9e5 (4e5)8.0e5 (7e5)1.0e6 (9e5)1.0e6 (6e5)1.0e6 (8e5)1.0e6 (1e6)1.0e6 (1e6)5/15

Δ fopt
f8, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 5.3e4 (6e4)1.9e5 (2e5)∞∞∞∞∞4e50/15
DE-scipy 4.1e4 (4962)3.9e5 (6e5)5.6e6 (4e6)5.7e6 (9e6)5.7e6 (7e6)5.8e6 (4e6)5.8e6 (7e6)1/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 6995 (4116)1.5e5 (2e5)∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 1.9e4 (3790)7.7e4 (1e4)5.7e6 (7e6)5.7e6 (1e7)5.7e6 (6e6)5.7e6 (5e6)5.8e6 (8e6)1/15
DE-NO-r1-B Tanabe.zip 1.3e4 (2186)3.8e4 (2e4)∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip 1.2e4 (1062)3.3e4 (1e4)1.7e6 (2e6)∞∞∞∞4e50/15

Δ fopt
f9, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 6.9e5 (8e5)∞∞∞∞∞∞4e50/15
DE-scipy 4.3e4 (4112)∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 4.4e4 (2e4)∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 3.2e4 (8164)∞∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip 1.7e4 (4536)∞∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip 1.8e4 (3342)∞∞∞∞∞∞4e50/15

Δ fopt
f10, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 1.3e6 (1e6)∞∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15

Δ fopt
f11, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 76 (96)∞∞∞∞∞∞4e50/15
DE-scipy 177 (226)1.3e5 (8e4)∞∞∞∞∞4e50/15
RANDOMSEARCH 520 (1012)∞∞∞∞∞∞4e50/15
TPE-hyperopt 104 (71)∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 112 (102)∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 174 (353)2.1e5 (3e4)∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip 186 (245)1.5e5 (6e4)∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip 165 (207)2.9e5 (7e4)∞∞∞∞∞4e50/15

Δ fopt
f12, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 7.1e4 (7e4)7.8e4 (7e4)8.4e4 (6e4)9.1e4 (6e4)9.5e4 (6e4)1.1e5 (6e4)1.3e5 (6e4)15/15
DE-scipy 1.7e5 (4e5)1.7e5 (3e5)1.8e5 (2e5)1.9e5 (2e5)1.9e5 (3e5)2.0e5 (2e5)2.1e5 (2e5)11/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 3.7e4 (3e4)4.0e4 (3e4)4.3e4 (3e4)4.5e4 (3e4)4.6e4 (3e4)4.9e4 (3e4)5.2e4 (3e4)15/15
DE-CoBi-r1-L Tanabe.zip 3.0e4 (1928)3.6e4 (2538)4.2e4 (3032)4.8e4 (2190)5.5e4 (2836)6.6e4 (3424)7.9e4 (4086)15/15
DE-NO-r1-B Tanabe.zip 2.5e4 (2616)3.0e4 (2427)3.5e4 (2493)4.0e4 (2370)4.4e4 (2516)5.4e4 (2606)6.3e4 (2547)15/15
DE-j-r2-B Tanabe.zip 1.8e4 (1720)2.2e4 (1626)2.6e4 (1456)3.1e4 (2499)3.4e4 (2693)4.3e4 (2742)5.1e4 (2476)15/15

Δ fopt
f13, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 7.1e4 (7e4)9.3e4 (9e4)1.1e5 (9e4)1.2e5 (8e4)1.4e5 (8e4)1.9e5 (7e4)∞4e50/15
DE-scipy 8.9e4 (2e5)9.9e4 (2e5)1.1e5 (2e5)1.2e5 (2e5)1.3e5 (2e5)1.4e5 (3e5)1.6e5 (2e5)13/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 1.2e4 (1e4)1.4e4 (1e4)1.6e4 (1e4)1.9e4 (1e4)2.1e4 (1e4)2.6e4 (1e4)3.2e4 (1e4)15/15
DE-CoBi-r1-L Tanabe.zip 3.2e4 (1972)4.5e4 (2690)5.7e4 (2024)7.0e4 (1698)8.2e4 (2071)1.1e5 (1902)1.3e5 (2284)15/15
DE-NO-r1-B Tanabe.zip 2.7e4 (3194)3.6e4 (3738)4.6e4 (2781)5.5e4 (3304)6.4e4 (2937)8.2e4 (3747)1.0e5 (4134)15/15
DE-j-r2-B Tanabe.zip 2.1e4 (2284)2.9e4 (3184)3.8e4 (2392)4.7e4 (4574)5.5e4 (5062)7.3e4 (4705)9.1e4 (4113)15/15

Δ fopt
f14, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 588 (200)★46.2e4 (6e4)6.8e4 (7e4)1.1e5 (1e5)1.2e5 (1e5)1.5e5 (9e4)1.9e5 (9e4)11/15
DE-scipy 4850 (1211)2.3e4 (6259)3.1e5 (3e5)4.0e5 (6e5)4.2e5 (6e5)4.8e5 (5e5)5.7e5 (4e5)8/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt 5.8e4 (5e4)∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 1643 (629)3018 (658)7015 (1e4)9529 (1e4)1.2e4 (1e4)1.9e4 (1e4)2.5e4 (1e4)15/15
DE-CoBi-r1-L Tanabe.zip 8436 (1718)2.6e4 (2216)3.9e4 (2292)5.2e4 (2238)7.1e4 (3942)1.2e5 (8126)1.7e5 (1e4)15/15
DE-NO-r1-B Tanabe.zip 5175 (984)1.8e4 (2190)2.9e4 (1880)3.8e4 (3861)4.7e4 (3624)7.1e4 (3211)9.8e4 (4922)15/15
DE-j-r2-B Tanabe.zip 6073 (820)1.7e4 (1626)2.4e4 (2498)3.3e4 (2553)5.5e4 (1e4)2.5e5 (8e4)∞4e50/15

Δ fopt
f15, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.9e6 (3e6)2.9e6 (5e6)2.9e6 (4e6)2.9e6 (2e6)2.9e6 (4e6)2.9e6 (3e6)2.9e6 (4e6)2/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15

Δ fopt
f16, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.8e4 (2e4)∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 8.7e5 (1e6)∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 3.3e5 (6e4)∞∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip 6.0e6 (6e6)∞∞∞∞∞∞4e50/15

Δ fopt
f17, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.0e5 (1e5)1.7e5 (1e5)2.0e5 (1e5)2.2e5 (1e5)2.4e5 (1e5)2.8e5 (1e5)∞4e50/15
DE-scipy 7.0e4 (3e4)2.5e5 (4e5)2.6e5 (4e5)2.7e5 (3e5)2.8e5 (4e5)3.0e5 (4e5)3.2e5 (6e5)10/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 3.1e4 (3e4)1.1e5 (2e5)1.1e5 (2e5)1.2e5 (2e5)1.2e5 (2e5)1.2e5 (2e5)1.3e5 (2e5)13/15
DE-CoBi-r1-L Tanabe.zip 5.5e4 (9984)8.2e4 (1e4)9.8e4 (8935)1.1e5 (1e4)1.3e5 (8706)1.6e5 (9444)1.9e5 (1e4)15/15
DE-NO-r1-B Tanabe.zip 2.4e4 (3409)3.9e4 (5386)5.0e4 (6680)6.0e4 (5855)7.1e4 (6632)8.9e4 (6346)1.1e5 (5464)15/15
DE-j-r2-B Tanabe.zip 3.0e4 (2596)4.5e4 (4160)6.0e4 (3504)7.3e4 (4766)8.8e4 (3748)1.1e5 (6280)1.4e5 (8434)15/15

Δ fopt
f18, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1533 (335)★24.0e5 (3e5)4.1e5 (3e5)4.3e5 (3e5)4.5e5 (3e5)4.9e5 (3e5)∞4e50/15
DE-scipy 2.5e4 (2e4)1.7e6 (2e6)1.7e6 (3e6)1.7e6 (2e6)1.7e6 (1e6)1.7e6 (2e6)1.7e6 (2e6)3/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 2825 (1204)6.3e5 (1e6)8.2e5 (2e6)8.3e5 (9e5)8.3e5 (2e6)8.4e5 (8e5)8.4e5 (1e6)5/15
DE-CoBi-r1-L Tanabe.zip 3.5e4 (1e4)1.0e5 (2e4)1.2e5 (3e4)1.4e5 (3e4)1.5e5 (2e4)1.9e5 (2e4)2.2e5 (2e4)15/15
DE-NO-r1-B Tanabe.zip 1.4e4 (3406)7.0e4 (9138)8.2e4 (9274)9.2e4 (1e4)1.0e5 (9682)1.2e5 (1e4)1.4e5 (1e4)14/15
DE-j-r2-B Tanabe.zip 2.0e4 (5255)5.9e4 (1e4)7.7e4 (1e4)9.5e4 (1e4)1.1e5 (2e4)1.4e5 (2e4)1.7e5 (2e4)15/15

Δ fopt
f19, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15

Δ fopt
f20, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 979 (370)★42.0e4 (2e4)4.4e5 (3e5)∞∞∞∞4e50/15
DE-scipy 4935 (1332)6037 (2072)1.6e5 (2e5)∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt 6.0e4 (7e4)∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 4501 (6348)4864 (6336)1.8e5 (2e5)∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip 9583 (2030)1.2e4 (2012)4.3e4 (6280)1.1e5 (2e4)1.7e5 (2e4)1.9e5 (2e4)2.0e5 (2e4)15/15
DE-NO-r1-B Tanabe.zip 5806 (906)6709 (1724)6.8e4 (2e4)2.4e5 (5e4)5.8e5 (4e5)5.9e5 (5e5)6.0e5 (4e5)8/15
DE-j-r2-B Tanabe.zip 6992 (1460)8028 (1475)2.6e4 (2213)8.3e4 (1e4)1.8e5 (5e4)6.8e5 (5e5)1.5e6 (2e6)3/15

Δ fopt
f21, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.5e5 (2e5)3.4e5 (4e5)7.4e5 (9e5)7.4e5 (6e5)7.5e5 (8e5)7.5e5 (9e5)7.5e5 (7e5)6/15
DE-scipy 3.6e4 (3882)7.9e4 (2e5)6.3e5 (7e5)1.1e6 (2e6)1.1e6 (1e6)1.2e6 (2e6)1.2e6 (2e6)4/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip 1.4e5 (3e5)1.9e5 (3e5)2.0e5 (2e5)2.2e5 (3e5)2.2e5 (5e5)2.2e5 (3e5)2.2e5 (3e5)11/15
DE-CoBi-r1-L Tanabe.zip 4.0e4 (2930)8.6e4 (2e5)9.7e4 (2e5)1.0e5 (2e5)1.1e5 (2e5)1.1e5 (2e5)1.2e5 (2e5)13/15
DE-NO-r1-B Tanabe.zip 3.6e4 (2966)7.8e4 (2e5)8.5e4 (2e5)9.2e4 (2e5)9.5e4 (2e5)1.0e5 (2e5)1.1e5 (2e5)13/15
DE-j-r2-B Tanabe.zip 4.9e4 (9e4)9.4e4 (2e5)1.0e5 (2e5)1.1e5 (2e5)1.1e5 (2e5)1.2e5 (2e5)1.2e5 (2e5)13/15

Δ fopt
f22, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy 5.6e6 (6e6)∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15

Δ fopt
f23, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15

Δ fopt
f24, 40-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞4e50/15
DE-scipy ∞∞∞∞∞∞∞4e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞4e50/15
TPE-hyperopt ∞∞∞∞∞∞∞40000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞4e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞4e50/15

Previous dimension | Dimension = 80 | Next dimension

Δ fopt
f1, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4.8e4 (9e4)3.1e5 (3e5)3.1e5 (3e5)3.2e5 (3e5)3.4e5 (3e5)4.2e5 (3e5)5.2e5 (4e5)13/15
DE-scipy 2.6e4 (3658)1.7e6 (4e6)1.1e7 (9e6)1.1e7 (8e6)1.1e7 (9e6)1.1e7 (1e7)1.1e7 (2e7)1/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 3832 (729)1.1e4 (3711)1.3e4 (2772)1.4e4 (3119)1.6e4 (2645)2.1e4 (3882)2.8e4 (3508)15/15
DE-CoBi-r1-L Tanabe.zip 2.8e4 (1344)4.8e4 (3226)6.2e4 (2482)7.4e4 (2732)8.6e4 (3942)1.1e5 (4171)1.4e5 (2831)15/15
DE-NO-r1-B Tanabe.zip 2.2e4 (2830)4.1e4 (3246)5.3e4 (5980)6.3e4 (4631)7.1e4 (5320)8.8e4 (4926)1.1e5 (7258)15/15
DE-j-r2-B Tanabe.zip 1.4e4 (695)2.3e4 (1228)2.9e4 (1718)3.6e4 (1786)4.3e4 (2122)5.6e4 (2810)7.0e4 (3372)15/15

Δ fopt
f2, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 8.3e4 (3e4)3.3e5 (1e5)1.7e6 (2e6)3.8e6 (5e6)1.2e7 (1e7)1.2e7 (1e7)1.2e7 (1e7)1/15
DE-scipy 2.6e4 (5618)1.7e5 (4e5)7.7e5 (1e6)1.0e6 (2e6)1.0e6 (2e6)1.0e6 (1e6)1.0e6 (1e6)7/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 2.3e5 (2e5)2.5e5 (2e5)2.6e5 (2e5)3.8e5 (3e5)3.9e5 (3e5)4.6e5 (5e5)4.7e5 (5e5)13/15
DE-CoBi-r1-L Tanabe.zip 4.9e4 (1938)6.9e4 (2086)8.4e4 (2638)9.7e4 (3476)1.1e5 (3472)1.3e5 (4912)1.6e5 (4076)15/15
DE-NO-r1-B Tanabe.zip 2.9e4 (3158)4.9e4 (4699)7.5e4 (6606)9.0e4 (2e4)9.9e4 (2e4)1.1e5 (2e4)1.3e5 (8799)15/15
DE-j-r2-B Tanabe.zip 2.3e4 (894)3.1e4 (1238)3.9e4 (1330)4.6e4 (1471)5.2e4 (1698)6.7e4 (3245)8.1e4 (2484)15/15

Δ fopt
f3, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.5e4 (4e4)1.2e7 (9e6)∞∞∞∞∞8e50/15
DE-scipy 5.7e4 (1e4)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 8267 (2116)3.6e6 (2e6)∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 4.2e4 (2699)9.7e4 (7488)1.5e5 (7508)1.6e5 (4461)1.8e5 (5944)2.0e5 (5192)2.3e5 (6053)15/15
DE-NO-r1-B Tanabe.zip 4.1e4 (6803)4.0e5 (1e5)3.7e6 (5e6)∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip 2.0e4 (1507)5.3e4 (4686)1.1e5 (8640)1.2e5 (8086)1.4e5 (6914)1.5e5 (8213)1.7e5 (7968)15/15

Δ fopt
f4, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.7e5 (2e5)∞∞∞∞∞∞8e50/15
DE-scipy 6.6e4 (9802)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 1.5e5 (1e5)5.7e6 (7e6)∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 5.8e4 (3565)1.2e5 (7358)1.7e5 (6348)1.9e5 (5489)2.0e5 (5820)2.3e5 (6034)2.6e5 (6447)15/15
DE-NO-r1-B Tanabe.zip 7.4e4 (1e4)9.0e5 (1e6)∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip 2.6e4 (1388)6.0e4 (5827)1.2e5 (5162)1.4e5 (5295)1.5e5 (5592)1.7e5 (5880)1.9e5 (6386)15/15

Δ fopt
f5, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.3e5 (1e5)2.6e6 (3e6)2.6e6 (3e6)2.6e6 (3e6)2.6e6 (3e6)2.6e6 (3e6)2.6e6 (3e6)4/15
DE-scipy 1.7e5 (5e4)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 1363 (376)★42790 (1038)★42833 (1096)★42847 (1104)★42847 (1104)★42847 (1104)★42847 (1104)★415/15
DE-CoBi-r1-L Tanabe.zip 4.5e4 (1876)6.0e4 (2316)7.4e4 (2616)8.8e4 (2446)1.0e5 (2692)1.3e5 (3222)1.6e5 (4804)15/15
DE-NO-r1-B Tanabe.zip 5.0e4 (5034)7.3e4 (5324)9.7e4 (7390)1.2e5 (1e4)1.4e5 (1e4)1.9e5 (1e4)2.3e5 (1e4)15/15
DE-j-r2-B Tanabe.zip 2.4e4 (1182)3.4e4 (1770)4.5e4 (2262)5.5e4 (2719)6.6e4 (3479)8.7e4 (3487)1.1e5 (4360)15/15

Δ fopt
f6, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 9.0e4 (2e5)∞∞∞∞∞∞8e50/15
DE-scipy 5.0e4 (2e4)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 2.7e5 (5e5)∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 7.0e4 (4e4)1.5e6 (2e6)∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip 5.1e4 (3e4)1.4e6 (1e6)∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip 3.9e4 (3e4)1.9e6 (2e6)∞∞∞∞∞8e50/15

Δ fopt
f7, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15

Δ fopt
f8, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.1e5 (3e5)3.6e6 (2e6)∞∞∞∞∞8e50/15
DE-scipy 1.7e5 (4e5)5.8e6 (5e6)∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 3.5e4 (2e4)1.4e6 (1e6)∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 4.7e4 (2328)3.0e5 (6e5)∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip 3.4e4 (8226)1.3e6 (1e6)∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip 2.3e4 (2790)6.4e4 (2e4)∞∞∞∞∞8e50/15

Δ fopt
f9, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.4e6 (1e6)∞∞∞∞∞∞8e50/15
DE-scipy 4.8e5 (4e5)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 2.5e5 (4e5)∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 7.9e4 (1e4)∞∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip 5.4e4 (2e4)∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip 4.1e4 (9496)∞∞∞∞∞∞8e50/15

Δ fopt
f10, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15

Δ fopt
f11, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 751 (646)3.7e6 (4e6)∞∞∞∞∞8e50/15
DE-scipy 4009 (4052)∞∞∞∞∞∞8e50/15
RANDOMSEARCH 1.5e4 (2e4)∞∞∞∞∞∞8e50/15
TPE-hyperopt 1417 (1757)∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 921 (738)∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 1870 (1102)5.9e5 (6e5)∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip 1695 (1456)∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip 1890 (1618)4.6e5 (5e5)∞∞∞∞∞8e50/15

Δ fopt
f12, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4.1e5 (4e5)4.2e5 (4e5)4.4e5 (6e5)4.7e5 (5e5)5.4e5 (5e5)6.7e5 (4e5)7.7e5 (4e5)11/15
DE-scipy 7.0e5 (8e5)1.1e6 (2e6)1.2e6 (1e6)1.2e6 (2e6)1.2e6 (1e6)1.5e6 (3e6)1.5e6 (1e6)6/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 2.5e5 (1e5)2.6e5 (1e5)2.9e5 (2e5)2.9e5 (2e5)2.9e5 (2e5)3.0e5 (2e5)3.1e5 (2e5)14/15
DE-CoBi-r1-L Tanabe.zip 6.9e4 (3582)8.1e4 (3245)9.4e4 (3778)1.1e5 (4259)1.2e5 (3862)1.5e5 (3715)1.7e5 (3558)15/15
DE-NO-r1-B Tanabe.zip 5.5e4 (9876)6.5e4 (8454)7.4e4 (8577)8.3e4 (7604)9.2e4 (6470)1.1e5 (6005)1.3e5 (6112)15/15
DE-j-r2-B Tanabe.zip 3.2e4 (2264)3.9e4 (2250)4.6e4 (1862)5.4e4 (2592)6.1e4 (2759)7.5e4 (3355)8.8e4 (4209)15/15

Δ fopt
f13, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 6.7e5 (5e5)7.8e5 (5e5)8.1e5 (1e6)8.4e5 (8e5)9.1e5 (8e5)1.6e6 (8e5)∞8e50/15
DE-scipy 3.3e6 (3e6)5.5e6 (8e6)5.6e6 (5e6)5.6e6 (6e6)5.6e6 (6e6)5.7e6 (5e6)5.7e6 (6e6)2/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 2.9e4 (2e4)4.3e4 (2e4)4.7e4 (2e4)5.3e4 (2e4)5.9e4 (2e4)7.1e4 (2e4)8.2e4 (2e4)15/15
DE-CoBi-r1-L Tanabe.zip 6.7e4 (2836)9.3e4 (2676)1.2e5 (3578)1.5e5 (6105)1.7e5 (6670)2.3e5 (7706)2.8e5 (7446)15/15
DE-NO-r1-B Tanabe.zip 5.2e4 (6410)9.7e4 (6e4)1.7e5 (1e5)1.9e5 (1e5)2.0e5 (1e5)2.4e5 (1e5)2.7e5 (1e5)14/15
DE-j-r2-B Tanabe.zip 3.1e4 (2200)4.5e4 (3558)6.0e4 (4155)7.5e4 (5644)9.0e4 (8318)1.2e5 (9990)1.5e5 (9565)15/15

Δ fopt
f14, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1049 (213)★48.2e5 (6e5)8.4e5 (9e5)1.9e6 (2e6)1.9e6 (3e6)2.5e6 (2e6)2.7e6 (3e6)4/15
DE-scipy 9388 (2766)6.3e4 (3e4)1.8e6 (2e6)5.3e6 (5e6)5.3e6 (4e6)5.3e6 (5e6)5.4e6 (8e6)2/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 3074 (863)5768 (832)★48547 (1574)4.1e4 (3e4)4.6e4 (3e4)7.6e4 (4e4)1.1e5 (5e4)15/15
DE-CoBi-r1-L Tanabe.zip 1.6e4 (2964)5.7e4 (5902)8.1e4 (8092)1.0e5 (1e4)1.3e5 (2e4)2.2e5 (4e4)3.2e5 (6e4)15/15
DE-NO-r1-B Tanabe.zip 9283 (1690)3.9e4 (8704)6.0e4 (7988)8.2e4 (2e4)1.1e5 (2e4)4.9e5 (4e5)2.5e6 (2e6)2/15
DE-j-r2-B Tanabe.zip 1.0e4 (1316)2.9e4 (1992)4.0e4 (3574)5.1e4 (6478)9.3e4 (4e4)1.1e6 (1e6)1.1e7 (1e7)1/15

Δ fopt
f15, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15

Δ fopt
f16, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 3.0e4 (5e4)∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 2.2e6 (3e6)∞∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15

Δ fopt
f17, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 8.2e5 (8e5)1.2e7 (2e7)∞∞∞∞∞8e50/15
DE-scipy 3.5e6 (2e6)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 5.1e5 (6e5)2.1e6 (1e6)2.1e6 (2e6)2.1e6 (3e6)2.1e6 (3e6)2.1e6 (3e6)2.7e6 (3e6)3/15
DE-CoBi-r1-L Tanabe.zip 1.8e5 (3e4)4.3e5 (4e5)4.7e5 (4e5)5.1e5 (4e5)5.5e5 (6e5)6.1e5 (4e5)6.8e5 (4e5)12/15
DE-NO-r1-B Tanabe.zip 6.5e4 (8922)3.0e5 (4e5)3.2e5 (4e5)3.4e5 (4e5)3.6e5 (4e5)3.9e5 (4e5)4.4e5 (4e5)12/15
DE-j-r2-B Tanabe.zip 6.2e4 (1e4)8.8e4 (1e4)1.2e5 (1e4)1.4e5 (2e4)1.8e5 (2e4)2.3e5 (3e4)2.8e5 (4e4)15/15

Δ fopt
f18, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 3972 (1193)★4∞∞∞∞∞∞8e50/15
DE-scipy 9.5e4 (5e4)∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 7629 (2337)∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 1.4e5 (2e4)3.5e6 (2e6)3.6e6 (3e6)3.6e6 (5e6)3.6e6 (4e6)3.7e6 (3e6)3.8e6 (3e6)3/15
DE-NO-r1-B Tanabe.zip 4.3e4 (1e4)6.7e5 (1e6)8.5e5 (1e6)8.7e5 (1e6)8.9e5 (8e5)9.3e5 (8e5)9.7e5 (1e6)8/15
DE-j-r2-B Tanabe.zip 5.3e4 (2e4)2.6e5 (4e5)3.0e5 (4e5)3.4e5 (4e5)3.8e5 (4e5)4.6e5 (4e5)5.2e5 (6e5)13/15

Δ fopt
f19, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15

Δ fopt
f20, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 4095 (846)★27.6e4 (2e5)1.2e7 (1e7)∞∞∞∞8e50/15
DE-scipy 1.5e4 (3040)1.9e4 (4690)∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 1.2e5 (2e5)1.3e5 (2e5)2.5e6 (2e6)∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 2.8e4 (4286)3.5e4 (4750)1.2e5 (1e4)3.6e5 (3e4)5.7e5 (4e5)6.0e5 (4e5)6.3e5 (4e5)13/15
DE-NO-r1-B Tanabe.zip 1.6e4 (1850)1.9e4 (3278)3.0e5 (1e5)∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip 1.5e4 (1958)1.7e4 (1322)6.2e4 (5671)2.8e5 (6e4)1.2e7 (2e7)∞∞8e50/15

Δ fopt
f21, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 2.9e5 (4e5)8.7e5 (1e6)3.6e6 (4e6)1.2e7 (1e7)∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip 3.8e5 (5e5)5.0e5 (8e5)6.4e5 (9e5)7.5e5 (1e6)1.2e6 (1e6)1.8e6 (2e6)1.8e6 (1e6)5/15
DE-CoBi-r1-L Tanabe.zip 8.4e4 (4766)1.2e5 (2e4)2.8e5 (4e5)3.9e5 (6e5)4.0e5 (6e5)5.3e5 (4e5)5.5e5 (8e5)10/15
DE-NO-r1-B Tanabe.zip 7.4e4 (2831)9.9e4 (1e4)1.2e5 (3e4)1.4e5 (2e4)3.1e5 (4e5)3.5e5 (4e5)3.6e5 (4e5)12/15
DE-j-r2-B Tanabe.zip 7.3e4 (1477)9.0e4 (6592)1.0e5 (3e4)1.2e5 (3e4)1.5e5 (1e5)1.7e5 (1e5)1.9e5 (1e5)14/15

Δ fopt
f22, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15

Δ fopt
f23, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma 1.2e7 (8e6)∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip 1.2e7 (1e7)∞∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15

Δ fopt
f24, 80-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
CMA-ES-pycma ∞∞∞∞∞∞∞8e50/15
DE-scipy ∞∞∞∞∞∞∞8e50/15
RANDOMSEARCH ∞∞∞∞∞∞∞8e50/15
TPE-hyperopt ∞∞∞∞∞∞∞80000/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞8e50/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞8e50/15

Previous dimension | Dimension = 160 | First dimension

Δ fopt
f1, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 7.9e4 (8488)∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 1.4e4 (1e4)★3.7e4 (6432)4.4e4 (8598)4.6e4 (9376)★34.9e4 (8588)★46.1e4 (8467)★47.2e4 (9450)★415/15
DE-CoBi-r1-L Tanabe.zip 6.4e4 (2532)1.1e5 (4590)1.4e5 (4618)1.6e5 (4384)1.9e5 (4304)2.4e5 (3712)2.9e5 (4732)15/15
DE-NO-r1-B Tanabe.zip 4.6e4 (5114)1.3e5 (9e4)3.4e5 (3e5)3.7e5 (3e5)3.7e5 (3e5)3.8e5 (2e5)3.8e5 (2e5)15/15
DE-j-r2-B Tanabe.zip 2.3e4 (1196)3.7e4 (2114)4.9e4 (3220)6.0e4 (2451)7.2e4 (2446)9.5e4 (4506)1.2e5 (5938)15/15

Δ fopt
f2, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 7.5e4 (1e4)6.6e6 (1e7)∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 1.8e6 (2e6)1.9e6 (2e6)2.0e6 (2e6)4.2e6 (5e6)4.2e6 (3e6)5.3e6 (7e6)7.3e6 (9e6)3/15
DE-CoBi-r1-L Tanabe.zip 1.1e5 (4592)1.5e5 (5141)1.8e5 (6306)7.9e5 (2e6)2.1e6 (2e6)2.1e6 (2e6)2.2e6 (3e6)7/15
DE-NO-r1-B Tanabe.zip 6.1e4 (6660)1.5e5 (2e4)3.4e5 (2e5)5.4e5 (3e5)5.9e5 (3e5)5.9e5 (3e5)5.9e5 (3e5)15/15
DE-j-r2-B Tanabe.zip 3.6e4 (1181)★45.1e4 (1964)★46.7e4 (3216)★48.3e4 (9073)★49.7e4 (2e4)★41.2e5 (8298)★41.4e5 (6890)★415/15

Δ fopt
f3, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 5.7e5 (8e5)∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 1.0e5 (1e5)∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip 1.0e5 (5306)2.4e5 (2e4)3.5e5 (1e4)3.8e5 (1e4)4.1e5 (1e4)4.6e5 (1e4)5.2e5 (1e4)15/15
DE-NO-r1-B Tanabe.zip 1.0e5 (2e4)2.3e7 (2e7)∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip 3.4e4 (1528)1.0e5 (9154)★43.2e5 (2e4)★23.6e5 (1e4)★23.8e5 (1e4)★24.1e5 (1e4)★24.4e5 (1e4)★214/15

Δ fopt
f4, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 1.6e6 (2e6)∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 7.0e5 (4e5)∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip 1.4e5 (5559)2.9e5 (1e4)4.1e5 (9709)4.5e5 (9128)4.9e5 (8361)5.5e5 (8014)6.2e5 (1e4)15/15
DE-NO-r1-B Tanabe.zip 1.8e5 (5e4)∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip 4.7e4 (3172)★41.2e5 (1e4)★43.1e5 (2e5)★4.6e5 (4e5)4.8e5 (4e5)5.2e5 (4e5)5.4e5 (4e5)★14/15

Δ fopt
f5, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 5.4e6 (6e6)∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 3471 (1106)★46323 (1090)★47192 (3186)★47192 (3186)★47192 (3186)★47192 (3186)★47192 (3186)★415/15
DE-CoBi-r1-L Tanabe.zip 1.0e5 (3564)1.3e5 (4572)1.6e5 (3316)1.9e5 (5189)2.2e5 (4585)2.8e5 (5166)3.4e5 (7261)15/15
DE-NO-r1-B Tanabe.zip 1.1e5 (7479)1.7e5 (1e4)2.3e5 (2e4)2.8e5 (1e4)3.3e5 (2e4)4.3e5 (2e4)5.5e5 (3e4)15/15
DE-j-r2-B Tanabe.zip 4.0e4 (1095)5.6e4 (1298)7.5e4 (2693)9.4e4 (4074)1.1e5 (4128)1.5e5 (6070)1.9e5 (5574)15/15

Δ fopt
f6, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 8.8e5 (9e5)∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 9.0e5 (1e6)∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip 1.7e5 (6e4)∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip 1.0e5 (4e4)∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip 8.8e4 (4e4)∞∞∞∞∞∞2e60/15

Δ fopt
f7, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15

Δ fopt
f8, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 3.8e6 (5e6)∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 1.6e5 (2e5)2.0e6 (3e6)∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip 1.1e5 (4502)1.3e6 (2e6)∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip 1.3e5 (8e4)3.3e6 (4e6)∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip 3.8e4 (3234)★41.6e5 (6e4)∞∞∞∞∞2e60/15

Δ fopt
f9, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 5.2e6 (7e6)∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 5.1e5 (5e5)∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip 1.7e5 (3e4)∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip 3.1e5 (2e5)∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip 6.3e4 (2e4)★4∞∞∞∞∞∞2e60/15

Δ fopt
f10, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15

Δ fopt
f11, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 1.3e6 (2e6)∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 2.6e5 (5e5)∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip 1.3e5 (1e4)2.3e7 (3e7)∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip 5.7e5 (5e5)∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip 2.1e4 (2e4)2.3e7 (3e7)∞∞∞∞∞2e60/15

Δ fopt
f12, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 1.5e6 (1e6)1.8e6 (2e6)1.9e6 (1e6)1.9e6 (3e6)1.9e6 (1e6)2.0e6 (1e6)2.2e6 (4e6)9/15
DE-CoBi-r1-L Tanabe.zip 1.5e5 (6892)1.8e5 (6642)2.0e5 (5057)2.3e5 (5574)2.6e5 (6740)3.1e5 (8968)3.7e5 (7660)15/15
DE-NO-r1-B Tanabe.zip 4.7e5 (8e5)6.7e5 (8e5)8.1e5 (9e5)9.3e5 (1e6)1.8e6 (2e6)1.9e6 (3e6)1.9e6 (3e6)8/15
DE-j-r2-B Tanabe.zip 5.7e4 (3118)★46.9e4 (4105)★48.2e4 (5002)★49.4e4 (5328)★41.1e5 (5014)★41.3e5 (7830)★41.6e5 (8479)★415/15

Δ fopt
f13, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 4.0e6 (5e6)2.4e7 (2e7)2.4e7 (3e7)∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 5.1e4 (2e4)1.0e5 (3e4)1.8e5 (2e5)1.9e5 (2e5)2.1e5 (2e5)2.3e5 (2e5)2.6e5 (2e5)15/15
DE-CoBi-r1-L Tanabe.zip 2.4e5 (2e4)4.3e5 (8e5)4.9e5 (8e5)5.5e5 (8e5)6.0e5 (8e5)7.2e5 (8e5)8.3e5 (8e5)13/15
DE-NO-r1-B Tanabe.zip 1.5e5 (7e4)1.3e6 (2e6)1.9e6 (2e6)1.9e6 (3e6)1.9e6 (2e6)2.0e6 (2e6)2.0e6 (1e6)8/15
DE-j-r2-B Tanabe.zip 4.7e4 (2676)7.2e4 (5012)1.0e5 (4990)1.3e5 (6518)1.6e5 (6651)2.1e5 (1e4)2.6e5 (2e4)15/15

Δ fopt
f14, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 1.7e4 (4727)8.2e5 (8e5)∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 5173 (1297)★41.1e4 (1272)★45.3e4 (1e5)★2.4e5 (3e5)7.5e5 (9e5)8.4e5 (9e5)1.0e6 (9e5)12/15
DE-CoBi-r1-L Tanabe.zip 2.7e4 (2111)1.2e5 (1e4)1.2e6 (2e6)1.3e6 (2e6)1.3e6 (2e6)1.5e6 (9e5)2.3e6 (3e6)6/15
DE-NO-r1-B Tanabe.zip 1.4e4 (2864)8.5e4 (1e4)3.2e5 (2e5)9.7e5 (1e6)2.6e6 (2e6)∞∞2e60/15
DE-j-r2-B Tanabe.zip 1.5e4 (2317)4.6e4 (3492)6.6e4 (6052)8.5e4 (6008)1.3e5 (3e4)★3.4e6 (6e6)∞2e60/15

Δ fopt
f15, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15

Δ fopt
f16, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15

Δ fopt
f17, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 3.9e6 (6e6)∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip 2.3e7 (3e7)∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip 1.1e6 (1e6)2.3e7 (3e7)2.3e7 (2e7)2.3e7 (2e7)2.3e7 (3e7)2.3e7 (3e7)2.3e7 (3e7)1/15
DE-j-r2-B Tanabe.zip 2.3e5 (3e4)★22.9e5 (5e4)★23.5e5 (7e4)★24.4e5 (1e5)★25.3e5 (2e5)★26.7e5 (3e5)★27.9e5 (4e5)★214/15

Δ fopt
f18, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 1.6e6 (2e6)∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 2.2e4 (9132)★4∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip 5.0e5 (1e5)∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip 1.1e5 (2e4)∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip 1.0e5 (3e4)2.3e7 (3e7)2.3e7 (3e7)2.3e7 (3e7)2.3e7 (2e7)2.4e7 (3e7)2.4e7 (2e7)1/15

Δ fopt
f19, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15

Δ fopt
f20, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy 4.8e5 (8e5)1.1e6 (2e6)∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 7.6e5 (1e6)7.6e5 (8e5)∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip 7.3e4 (7843)8.4e4 (7346)3.3e5 (3e4)1.8e6 (9e5)2.3e7 (2e7)2.3e7 (3e7)2.4e7 (2e7)1/15
DE-NO-r1-B Tanabe.zip 4.8e4 (5e4)9.9e4 (2e5)1.3e6 (1e6)∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip 2.7e4 (2249)★43.2e4 (2310)★41.3e5 (8566)★41.1e6 (4e5)∞∞∞2e60/15

Δ fopt
f21, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip 6.7e5 (2e6)6.8e5 (8e5)7.1e5 (8e5)1.3e6 (2e6)3.4e6 (6e6)6.6e6 (9e6)6.6e6 (6e6)3/15
DE-CoBi-r1-L Tanabe.zip 1.8e5 (2e4)2.5e5 (4e4)1.0e6 (2e6)2.3e7 (3e7)2.3e7 (3e7)∞∞2e60/15
DE-NO-r1-B Tanabe.zip 4.3e5 (8e5)5.0e5 (8e5)7.3e5 (9e5)1.4e6 (9e5)1.9e6 (2e6)5.4e6 (4e6)5.4e6 (5e6)4/15
DE-j-r2-B Tanabe.zip 4.3e5 (8e5)4.5e5 (8e5)4.9e5 (8e5)5.3e5 (8e5)7.7e5 (1e6)1.8e6 (2e6)1.8e6 (2e6)7/15

Δ fopt
f22, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15

Δ fopt
f23, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15

Δ fopt
f24, 160-D		 1e1
 		 1e0
 		 1e-1
 		 1e-2
 		 1e-3
 		 1e-5
 		 1e-7
 		 #succ
 
DE-scipy ∞∞∞∞∞∞∞2e60/15
RANDOMSEARCH ∞∞∞∞∞∞∞2e60/15
CMA-ESwM Hamano.zip ∞∞∞∞∞∞∞2e60/15
DE-CoBi-r1-L Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-NO-r1-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15
DE-j-r2-B Tanabe.zip ∞∞∞∞∞∞∞2e60/15

Expected runtime (ERT) to reach given targets, measured in number of f-evaluations, in different dimensions. For each function, the ERT  and, in braces as dispersion measure, the half difference between 10 and 90%-tile of (bootstrapped) runtimes is shown for the different target ∆f-values as shown in the top row. #succ is the number of trials that reached the last target fopt+ 10−8. The median number of conducted function evaluations is additionally given in italics, if the target in the last column was never reached. The best entry is marked by a star when the largest p-value of pairwise rank-sum tests with the other algorithms either obeys 0.01 < p ≤ 0.05 or 10−k−1 < p ≤ 10−k when the star is followed by the number k, with Bonferroni correction by the number of functions (24). Best results are printed in bold.