bigcodebench-hard-complete
v1.0.0BigCodeBench-Hard complete benchmark adapter for Harbor - challenging Python programming tasks with reward-based verification
uvx harbor run -d bigcodebench-hard-complete@1.0.0Tasks (145)
bigcodebench_100
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1004f398de
bigcodebench_1003
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10034f398de
bigcodebench_1004
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10044f398de
bigcodebench_1006
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10064f398de
bigcodebench_1008
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10084f398de
bigcodebench_1012
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10124f398de
bigcodebench_1013
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10134f398de
bigcodebench_1015
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10154f398de
bigcodebench_1019
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10194f398de
bigcodebench_1020
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10204f398de
bigcodebench_1022
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10224f398de
bigcodebench_1039
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10394f398de
bigcodebench_1040
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10404f398de
bigcodebench_1042
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10424f398de
bigcodebench_1053
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10534f398de
bigcodebench_1057
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10574f398de
bigcodebench_1077
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10774f398de
bigcodebench_108
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1084f398de
bigcodebench_1085
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_10854f398de
bigcodebench_1124
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_11244f398de
bigcodebench_1129
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_11294f398de
bigcodebench_1137
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_11374f398de
bigcodebench_120
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1204f398de
bigcodebench_123
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1234f398de
bigcodebench_124
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1244f398de
bigcodebench_129
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1294f398de
bigcodebench_13
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_134f398de
bigcodebench_139
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1394f398de
bigcodebench_147
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1474f398de
bigcodebench_15
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_154f398de
bigcodebench_161
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1614f398de
bigcodebench_162
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1624f398de
bigcodebench_17
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_174f398de
bigcodebench_177
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1774f398de
bigcodebench_184
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1844f398de
bigcodebench_187
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1874f398de
bigcodebench_19
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_194f398de
bigcodebench_199
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_1994f398de
bigcodebench_208
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2084f398de
bigcodebench_211
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2114f398de
bigcodebench_214
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2144f398de
bigcodebench_227
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2274f398de
bigcodebench_239
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2394f398de
bigcodebench_241
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2414f398de
bigcodebench_267
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2674f398de
bigcodebench_273
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2734f398de
bigcodebench_274
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2744f398de
bigcodebench_287
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_2874f398de
bigcodebench_302
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3024f398de
bigcodebench_308
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3084f398de
bigcodebench_310
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3104f398de
bigcodebench_313
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3134f398de
bigcodebench_324
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3244f398de
bigcodebench_326
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3264f398de
bigcodebench_34
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_344f398de
bigcodebench_341
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3414f398de
bigcodebench_346
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3464f398de
bigcodebench_360
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3604f398de
bigcodebench_367
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3674f398de
bigcodebench_368
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3684f398de
bigcodebench_37
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_374f398de
bigcodebench_374
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3744f398de
bigcodebench_399
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_3994f398de
bigcodebench_401
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4014f398de
bigcodebench_409
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4094f398de
bigcodebench_417
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4174f398de
bigcodebench_418
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4184f398de
bigcodebench_424
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4244f398de
bigcodebench_443
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4434f398de
bigcodebench_445
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4454f398de
bigcodebench_454
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4544f398de
bigcodebench_458
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4584f398de
bigcodebench_461
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4614f398de
bigcodebench_477
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4774f398de
bigcodebench_486
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4864f398de
bigcodebench_492
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_4924f398de
bigcodebench_501
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5014f398de
bigcodebench_502
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5024f398de
bigcodebench_503
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5034f398de
bigcodebench_509
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5094f398de
bigcodebench_511
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5114f398de
bigcodebench_513
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5134f398de
bigcodebench_526
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5264f398de
bigcodebench_528
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5284f398de
bigcodebench_530
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5304f398de
bigcodebench_532
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5324f398de
bigcodebench_553
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5534f398de
bigcodebench_560
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5604f398de
bigcodebench_567
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5674f398de
bigcodebench_574
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5744f398de
bigcodebench_579
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5794f398de
bigcodebench_582
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5824f398de
bigcodebench_583
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5834f398de
bigcodebench_587
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5874f398de
bigcodebench_592
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5924f398de
bigcodebench_594
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_5944f398de
bigcodebench_618
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_6184f398de
bigcodebench_636
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_6364f398de
bigcodebench_637
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_6374f398de
bigcodebench_654
uvx harbor run -d bigcodebench-hard-complete@1.0.0 -t bigcodebench_6544f398de