bfcl

v1.0

Berkeley Function-Calling Leaderboard: 3,641 function calling tasks for evaluating LLM tool use capabilities across simple, multiple, parallel, and irrelevance categories.

uvx harbor run -d bfcl@1.0

Tasks (3641)

bfcl-live-multiple-48-18-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-48-18-3
6bedd78
bfcl-live-multiple-480-146-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-480-146-5
6bedd78
bfcl-live-multiple-481-146-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-481-146-6
6bedd78
bfcl-live-multiple-482-146-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-482-146-7
6bedd78
bfcl-live-multiple-483-146-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-483-146-8
6bedd78
bfcl-live-multiple-484-146-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-484-146-9
6bedd78
bfcl-live-multiple-485-147-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-485-147-0
6bedd78
bfcl-live-multiple-486-147-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-486-147-1
6bedd78
bfcl-live-multiple-487-147-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-487-147-2
6bedd78
bfcl-live-multiple-488-147-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-488-147-3
6bedd78
bfcl-live-multiple-489-147-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-489-147-4
6bedd78
bfcl-live-multiple-49-19-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-49-19-0
6bedd78
bfcl-live-multiple-490-148-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-490-148-0
6bedd78
bfcl-live-multiple-491-148-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-491-148-1
6bedd78
bfcl-live-multiple-492-148-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-492-148-2
6bedd78
bfcl-live-multiple-493-148-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-493-148-3
6bedd78
bfcl-live-multiple-494-148-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-494-148-4
6bedd78
bfcl-live-multiple-495-148-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-495-148-5
6bedd78
bfcl-live-multiple-496-148-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-496-148-6
6bedd78
bfcl-live-multiple-497-148-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-497-148-7
6bedd78
bfcl-live-multiple-498-148-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-498-148-8
6bedd78
bfcl-live-multiple-499-148-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-499-148-9
6bedd78
bfcl-live-multiple-5-3-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-5-3-0
6bedd78
bfcl-live-multiple-50-20-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-50-20-0
6bedd78
bfcl-live-multiple-500-148-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-500-148-10
6bedd78
bfcl-live-multiple-501-148-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-501-148-11
6bedd78
bfcl-live-multiple-502-148-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-502-148-12
6bedd78
bfcl-live-multiple-503-149-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-503-149-0
6bedd78
bfcl-live-multiple-504-149-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-504-149-1
6bedd78
bfcl-live-multiple-505-149-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-505-149-2
6bedd78
bfcl-live-multiple-506-149-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-506-149-3
6bedd78
bfcl-live-multiple-507-149-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-507-149-4
6bedd78
bfcl-live-multiple-508-149-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-508-149-5
6bedd78
bfcl-live-multiple-509-149-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-509-149-6
6bedd78
bfcl-live-multiple-51-21-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-51-21-0
6bedd78
bfcl-live-multiple-510-149-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-510-149-7
6bedd78
bfcl-live-multiple-511-149-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-511-149-8
6bedd78
bfcl-live-multiple-512-150-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-512-150-0
6bedd78
bfcl-live-multiple-513-150-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-513-150-1
6bedd78
bfcl-live-multiple-514-150-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-514-150-2
6bedd78
bfcl-live-multiple-515-150-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-515-150-3
6bedd78
bfcl-live-multiple-516-150-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-516-150-4
6bedd78
bfcl-live-multiple-517-150-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-517-150-5
6bedd78
bfcl-live-multiple-518-150-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-518-150-6
6bedd78
bfcl-live-multiple-519-150-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-519-150-7
6bedd78
bfcl-live-multiple-52-21-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-52-21-1
6bedd78
bfcl-live-multiple-520-150-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-520-150-8
6bedd78
bfcl-live-multiple-521-150-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-521-150-9
6bedd78
bfcl-live-multiple-522-150-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-522-150-10
6bedd78
bfcl-live-multiple-523-150-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-523-150-11
6bedd78
bfcl-live-multiple-524-151-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-524-151-0
6bedd78
bfcl-live-multiple-525-151-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-525-151-1
6bedd78
bfcl-live-multiple-526-151-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-526-151-2
6bedd78
bfcl-live-multiple-527-151-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-527-151-3
6bedd78
bfcl-live-multiple-528-151-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-528-151-4
6bedd78
bfcl-live-multiple-529-151-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-529-151-5
6bedd78
bfcl-live-multiple-53-22-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-53-22-0
6bedd78
bfcl-live-multiple-530-151-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-530-151-6
6bedd78
bfcl-live-multiple-531-151-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-531-151-7
6bedd78
bfcl-live-multiple-532-151-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-532-151-8
6bedd78
bfcl-live-multiple-533-151-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-533-151-9
6bedd78
bfcl-live-multiple-534-151-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-534-151-10
6bedd78
bfcl-live-multiple-535-151-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-535-151-11
6bedd78
bfcl-live-multiple-536-151-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-536-151-12
6bedd78
bfcl-live-multiple-537-151-13
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-537-151-13
6bedd78
bfcl-live-multiple-538-152-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-538-152-0
6bedd78
bfcl-live-multiple-539-152-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-539-152-1
6bedd78
bfcl-live-multiple-54-22-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-54-22-1
6bedd78
bfcl-live-multiple-540-152-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-540-152-2
6bedd78
bfcl-live-multiple-541-152-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-541-152-3
6bedd78
bfcl-live-multiple-542-152-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-542-152-4
6bedd78
bfcl-live-multiple-543-152-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-543-152-5
6bedd78
bfcl-live-multiple-544-152-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-544-152-6
6bedd78
bfcl-live-multiple-545-152-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-545-152-7
6bedd78
bfcl-live-multiple-546-152-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-546-152-8
6bedd78
bfcl-live-multiple-547-152-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-547-152-9
6bedd78
bfcl-live-multiple-548-152-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-548-152-10
6bedd78
bfcl-live-multiple-549-152-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-549-152-11
6bedd78
bfcl-live-multiple-55-22-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-55-22-2
6bedd78
bfcl-live-multiple-550-152-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-550-152-12
6bedd78
bfcl-live-multiple-551-153-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-551-153-0
6bedd78
bfcl-live-multiple-552-153-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-552-153-1
6bedd78
bfcl-live-multiple-553-153-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-553-153-2
6bedd78
bfcl-live-multiple-554-154-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-554-154-0
6bedd78
bfcl-live-multiple-555-154-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-555-154-1
6bedd78
bfcl-live-multiple-556-154-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-556-154-2
6bedd78
bfcl-live-multiple-557-154-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-557-154-3
6bedd78
bfcl-live-multiple-558-154-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-558-154-4
6bedd78
bfcl-live-multiple-559-154-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-559-154-5
6bedd78
bfcl-live-multiple-56-22-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-56-22-3
6bedd78
bfcl-live-multiple-560-155-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-560-155-0
6bedd78
bfcl-live-multiple-561-155-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-561-155-1
6bedd78
bfcl-live-multiple-562-155-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-562-155-2
6bedd78
bfcl-live-multiple-563-155-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-563-155-3
6bedd78
bfcl-live-multiple-564-155-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-564-155-4
6bedd78
bfcl-live-multiple-565-155-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-565-155-5
6bedd78
bfcl-live-multiple-566-155-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-566-155-6
6bedd78
bfcl-live-multiple-567-155-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-567-155-7
6bedd78
bfcl-live-multiple-568-155-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-568-155-8
6bedd78
bfcl-live-multiple-569-155-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-569-155-9
6bedd78