bfcl
v1.0Berkeley Function-Calling Leaderboard: 3,641 function calling tasks for evaluating LLM tool use capabilities across simple, multiple, parallel, and irrelevance categories.
uvx harbor run -d bfcl@1.0Tasks (3641)
bfcl-live-multiple-39-14-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-39-14-16bedd78
bfcl-live-multiple-390-137-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-390-137-86bedd78
bfcl-live-multiple-391-137-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-391-137-96bedd78
bfcl-live-multiple-392-138-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-392-138-06bedd78
bfcl-live-multiple-393-138-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-393-138-16bedd78
bfcl-live-multiple-394-138-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-394-138-26bedd78
bfcl-live-multiple-395-138-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-395-138-36bedd78
bfcl-live-multiple-396-139-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-396-139-06bedd78
bfcl-live-multiple-397-139-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-397-139-16bedd78
bfcl-live-multiple-398-139-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-398-139-26bedd78
bfcl-live-multiple-399-139-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-399-139-36bedd78
bfcl-live-multiple-4-2-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-4-2-16bedd78
bfcl-live-multiple-40-15-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-40-15-06bedd78
bfcl-live-multiple-400-139-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-400-139-46bedd78
bfcl-live-multiple-401-139-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-401-139-56bedd78
bfcl-live-multiple-402-139-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-402-139-66bedd78
bfcl-live-multiple-403-139-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-403-139-76bedd78
bfcl-live-multiple-404-140-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-404-140-06bedd78
bfcl-live-multiple-405-140-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-405-140-16bedd78
bfcl-live-multiple-406-140-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-406-140-26bedd78
bfcl-live-multiple-407-140-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-407-140-36bedd78
bfcl-live-multiple-408-140-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-408-140-46bedd78
bfcl-live-multiple-409-140-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-409-140-56bedd78
bfcl-live-multiple-41-16-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-41-16-06bedd78
bfcl-live-multiple-410-140-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-410-140-66bedd78
bfcl-live-multiple-411-141-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-411-141-06bedd78
bfcl-live-multiple-412-141-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-412-141-16bedd78
bfcl-live-multiple-413-141-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-413-141-26bedd78
bfcl-live-multiple-414-141-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-414-141-36bedd78
bfcl-live-multiple-415-141-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-415-141-46bedd78
bfcl-live-multiple-416-141-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-416-141-56bedd78
bfcl-live-multiple-417-141-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-417-141-66bedd78
bfcl-live-multiple-418-141-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-418-141-76bedd78
bfcl-live-multiple-419-141-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-419-141-86bedd78
bfcl-live-multiple-42-16-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-42-16-16bedd78
bfcl-live-multiple-420-141-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-420-141-96bedd78
bfcl-live-multiple-421-141-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-421-141-106bedd78
bfcl-live-multiple-422-141-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-422-141-116bedd78
bfcl-live-multiple-423-141-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-423-141-126bedd78
bfcl-live-multiple-424-141-13
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-424-141-136bedd78
bfcl-live-multiple-425-141-14
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-425-141-146bedd78
bfcl-live-multiple-426-141-15
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-426-141-156bedd78
bfcl-live-multiple-427-141-16
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-427-141-166bedd78
bfcl-live-multiple-428-141-17
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-428-141-176bedd78
bfcl-live-multiple-429-141-18
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-429-141-186bedd78
bfcl-live-multiple-43-16-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-43-16-26bedd78
bfcl-live-multiple-430-141-19
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-430-141-196bedd78
bfcl-live-multiple-431-141-20
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-431-141-206bedd78
bfcl-live-multiple-432-141-21
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-432-141-216bedd78
bfcl-live-multiple-433-141-22
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-433-141-226bedd78
bfcl-live-multiple-434-142-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-434-142-06bedd78
bfcl-live-multiple-435-142-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-435-142-16bedd78
bfcl-live-multiple-436-142-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-436-142-26bedd78
bfcl-live-multiple-437-142-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-437-142-36bedd78
bfcl-live-multiple-438-142-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-438-142-46bedd78
bfcl-live-multiple-439-143-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-439-143-06bedd78
bfcl-live-multiple-44-17-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-44-17-06bedd78
bfcl-live-multiple-440-144-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-440-144-06bedd78
bfcl-live-multiple-441-144-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-441-144-16bedd78
bfcl-live-multiple-442-144-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-442-144-26bedd78
bfcl-live-multiple-443-144-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-443-144-36bedd78
bfcl-live-multiple-444-144-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-444-144-46bedd78
bfcl-live-multiple-445-144-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-445-144-56bedd78
bfcl-live-multiple-446-144-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-446-144-66bedd78
bfcl-live-multiple-447-144-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-447-144-76bedd78
bfcl-live-multiple-448-144-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-448-144-86bedd78
bfcl-live-multiple-449-145-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-449-145-06bedd78
bfcl-live-multiple-45-18-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-45-18-06bedd78
bfcl-live-multiple-450-145-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-450-145-16bedd78
bfcl-live-multiple-451-145-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-451-145-26bedd78
bfcl-live-multiple-452-145-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-452-145-36bedd78
bfcl-live-multiple-453-145-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-453-145-46bedd78
bfcl-live-multiple-454-145-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-454-145-56bedd78
bfcl-live-multiple-455-145-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-455-145-66bedd78
bfcl-live-multiple-456-145-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-456-145-76bedd78
bfcl-live-multiple-457-145-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-457-145-86bedd78
bfcl-live-multiple-458-145-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-458-145-96bedd78
bfcl-live-multiple-459-145-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-459-145-106bedd78
bfcl-live-multiple-46-18-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-46-18-16bedd78
bfcl-live-multiple-460-145-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-460-145-116bedd78
bfcl-live-multiple-461-145-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-461-145-126bedd78
bfcl-live-multiple-462-145-13
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-462-145-136bedd78
bfcl-live-multiple-463-145-14
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-463-145-146bedd78
bfcl-live-multiple-464-145-15
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-464-145-156bedd78
bfcl-live-multiple-465-145-16
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-465-145-166bedd78
bfcl-live-multiple-466-145-17
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-466-145-176bedd78
bfcl-live-multiple-467-145-18
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-467-145-186bedd78
bfcl-live-multiple-468-145-19
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-468-145-196bedd78
bfcl-live-multiple-469-145-20
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-469-145-206bedd78
bfcl-live-multiple-47-18-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-47-18-26bedd78
bfcl-live-multiple-470-145-21
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-470-145-216bedd78
bfcl-live-multiple-471-145-22
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-471-145-226bedd78
bfcl-live-multiple-472-145-23
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-472-145-236bedd78
bfcl-live-multiple-473-145-24
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-473-145-246bedd78
bfcl-live-multiple-474-145-25
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-474-145-256bedd78
bfcl-live-multiple-475-146-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-475-146-06bedd78
bfcl-live-multiple-476-146-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-476-146-16bedd78
bfcl-live-multiple-477-146-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-477-146-26bedd78
bfcl-live-multiple-478-146-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-478-146-36bedd78
bfcl-live-multiple-479-146-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-479-146-46bedd78