bfcl

v1.0

Berkeley Function-Calling Leaderboard: 3,641 function calling tasks for evaluating LLM tool use capabilities across simple, multiple, parallel, and irrelevance categories.

uvx harbor run -d bfcl@1.0

Tasks (3641)

bfcl-live-irrelevance-512-151-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-512-151-1
6bedd78
bfcl-live-irrelevance-513-152-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-513-152-0
6bedd78
bfcl-live-irrelevance-514-153-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-514-153-0
6bedd78
bfcl-live-irrelevance-515-154-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-515-154-0
6bedd78
bfcl-live-irrelevance-516-154-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-516-154-1
6bedd78
bfcl-live-irrelevance-517-155-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-517-155-0
6bedd78
bfcl-live-irrelevance-518-156-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-518-156-0
6bedd78
bfcl-live-irrelevance-519-157-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-519-157-0
6bedd78
bfcl-live-irrelevance-52-2-40
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-52-2-40
6bedd78
bfcl-live-irrelevance-520-157-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-520-157-1
6bedd78
bfcl-live-irrelevance-521-158-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-521-158-0
6bedd78
bfcl-live-irrelevance-522-159-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-522-159-0
6bedd78
bfcl-live-irrelevance-523-160-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-523-160-0
6bedd78
bfcl-live-irrelevance-524-161-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-524-161-0
6bedd78
bfcl-live-irrelevance-525-162-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-525-162-0
6bedd78
bfcl-live-irrelevance-526-162-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-526-162-1
6bedd78
bfcl-live-irrelevance-527-162-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-527-162-2
6bedd78
bfcl-live-irrelevance-528-162-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-528-162-3
6bedd78
bfcl-live-irrelevance-529-163-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-529-163-0
6bedd78
bfcl-live-irrelevance-53-2-41
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-53-2-41
6bedd78
bfcl-live-irrelevance-530-164-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-530-164-0
6bedd78
bfcl-live-irrelevance-531-164-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-531-164-1
6bedd78
bfcl-live-irrelevance-532-164-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-532-164-2
6bedd78
bfcl-live-irrelevance-533-165-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-533-165-0
6bedd78
bfcl-live-irrelevance-534-166-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-534-166-0
6bedd78
bfcl-live-irrelevance-535-167-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-535-167-0
6bedd78
bfcl-live-irrelevance-536-167-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-536-167-1
6bedd78
bfcl-live-irrelevance-537-168-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-537-168-0
6bedd78
bfcl-live-irrelevance-538-168-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-538-168-1
6bedd78
bfcl-live-irrelevance-539-168-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-539-168-2
6bedd78
bfcl-live-irrelevance-54-2-42
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-54-2-42
6bedd78
bfcl-live-irrelevance-540-168-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-540-168-3
6bedd78
bfcl-live-irrelevance-541-168-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-541-168-4
6bedd78
bfcl-live-irrelevance-542-168-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-542-168-5
6bedd78
bfcl-live-irrelevance-543-168-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-543-168-6
6bedd78
bfcl-live-irrelevance-544-168-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-544-168-7
6bedd78
bfcl-live-irrelevance-545-168-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-545-168-8
6bedd78
bfcl-live-irrelevance-546-168-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-546-168-9
6bedd78
bfcl-live-irrelevance-547-169-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-547-169-0
6bedd78
bfcl-live-irrelevance-548-169-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-548-169-1
6bedd78
bfcl-live-irrelevance-549-169-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-549-169-2
6bedd78
bfcl-live-irrelevance-55-2-43
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-55-2-43
6bedd78
bfcl-live-irrelevance-550-169-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-550-169-3
6bedd78
bfcl-live-irrelevance-551-169-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-551-169-4
6bedd78
bfcl-live-irrelevance-552-169-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-552-169-5
6bedd78
bfcl-live-irrelevance-553-169-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-553-169-6
6bedd78
bfcl-live-irrelevance-554-169-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-554-169-7
6bedd78
bfcl-live-irrelevance-555-169-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-555-169-8
6bedd78
bfcl-live-irrelevance-556-169-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-556-169-9
6bedd78
bfcl-live-irrelevance-557-170-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-557-170-0
6bedd78
bfcl-live-irrelevance-558-171-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-558-171-0
6bedd78
bfcl-live-irrelevance-559-172-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-559-172-0
6bedd78
bfcl-live-irrelevance-56-2-44
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-56-2-44
6bedd78
bfcl-live-irrelevance-560-172-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-560-172-1
6bedd78
bfcl-live-irrelevance-561-172-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-561-172-2
6bedd78
bfcl-live-irrelevance-562-172-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-562-172-3
6bedd78
bfcl-live-irrelevance-563-172-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-563-172-4
6bedd78
bfcl-live-irrelevance-564-172-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-564-172-5
6bedd78
bfcl-live-irrelevance-565-173-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-565-173-0
6bedd78
bfcl-live-irrelevance-566-174-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-566-174-0
6bedd78
bfcl-live-irrelevance-567-175-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-567-175-0
6bedd78
bfcl-live-irrelevance-568-176-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-568-176-0
6bedd78
bfcl-live-irrelevance-569-177-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-569-177-0
6bedd78
bfcl-live-irrelevance-57-2-45
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-57-2-45
6bedd78
bfcl-live-irrelevance-570-178-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-570-178-0
6bedd78
bfcl-live-irrelevance-571-179-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-571-179-0
6bedd78
bfcl-live-irrelevance-572-179-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-572-179-1
6bedd78
bfcl-live-irrelevance-573-179-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-573-179-2
6bedd78
bfcl-live-irrelevance-574-179-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-574-179-3
6bedd78
bfcl-live-irrelevance-575-179-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-575-179-4
6bedd78
bfcl-live-irrelevance-576-179-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-576-179-5
6bedd78
bfcl-live-irrelevance-577-180-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-577-180-0
6bedd78
bfcl-live-irrelevance-578-181-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-578-181-0
6bedd78
bfcl-live-irrelevance-579-181-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-579-181-1
6bedd78
bfcl-live-irrelevance-58-2-46
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-58-2-46
6bedd78
bfcl-live-irrelevance-580-182-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-580-182-0
6bedd78
bfcl-live-irrelevance-581-182-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-581-182-1
6bedd78
bfcl-live-irrelevance-582-182-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-582-182-2
6bedd78
bfcl-live-irrelevance-583-182-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-583-182-3
6bedd78
bfcl-live-irrelevance-584-182-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-584-182-4
6bedd78
bfcl-live-irrelevance-585-182-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-585-182-5
6bedd78
bfcl-live-irrelevance-586-182-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-586-182-6
6bedd78
bfcl-live-irrelevance-587-183-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-587-183-0
6bedd78
bfcl-live-irrelevance-588-183-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-588-183-1
6bedd78
bfcl-live-irrelevance-589-184-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-589-184-0
6bedd78
bfcl-live-irrelevance-59-2-47
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-59-2-47
6bedd78
bfcl-live-irrelevance-590-185-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-590-185-0
6bedd78
bfcl-live-irrelevance-591-186-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-591-186-0
6bedd78
bfcl-live-irrelevance-592-187-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-592-187-0
6bedd78
bfcl-live-irrelevance-593-188-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-593-188-0
6bedd78
bfcl-live-irrelevance-594-189-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-594-189-0
6bedd78
bfcl-live-irrelevance-595-190-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-595-190-0
6bedd78
bfcl-live-irrelevance-596-191-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-596-191-0
6bedd78
bfcl-live-irrelevance-597-192-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-597-192-0
6bedd78
bfcl-live-irrelevance-598-193-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-598-193-0
6bedd78
bfcl-live-irrelevance-599-193-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-599-193-1
6bedd78
bfcl-live-irrelevance-6-0-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-6-0-6
6bedd78
bfcl-live-irrelevance-60-2-48
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-60-2-48
6bedd78
bfcl-live-irrelevance-600-193-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-600-193-2
6bedd78
bfcl-live-irrelevance-601-193-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-601-193-3
6bedd78