bfcl

v1.0

Berkeley Function-Calling Leaderboard: 3,641 function calling tasks for evaluating LLM tool use capabilities across simple, multiple, parallel, and irrelevance categories.

uvx harbor run -d bfcl@1.0

Tasks (3641)

bfcl-live-multiple-39-14-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-39-14-1
6bedd78
bfcl-live-multiple-390-137-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-390-137-8
6bedd78
bfcl-live-multiple-391-137-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-391-137-9
6bedd78
bfcl-live-multiple-392-138-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-392-138-0
6bedd78
bfcl-live-multiple-393-138-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-393-138-1
6bedd78
bfcl-live-multiple-394-138-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-394-138-2
6bedd78
bfcl-live-multiple-395-138-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-395-138-3
6bedd78
bfcl-live-multiple-396-139-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-396-139-0
6bedd78
bfcl-live-multiple-397-139-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-397-139-1
6bedd78
bfcl-live-multiple-398-139-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-398-139-2
6bedd78
bfcl-live-multiple-399-139-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-399-139-3
6bedd78
bfcl-live-multiple-4-2-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-4-2-1
6bedd78
bfcl-live-multiple-40-15-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-40-15-0
6bedd78
bfcl-live-multiple-400-139-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-400-139-4
6bedd78
bfcl-live-multiple-401-139-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-401-139-5
6bedd78
bfcl-live-multiple-402-139-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-402-139-6
6bedd78
bfcl-live-multiple-403-139-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-403-139-7
6bedd78
bfcl-live-multiple-404-140-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-404-140-0
6bedd78
bfcl-live-multiple-405-140-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-405-140-1
6bedd78
bfcl-live-multiple-406-140-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-406-140-2
6bedd78
bfcl-live-multiple-407-140-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-407-140-3
6bedd78
bfcl-live-multiple-408-140-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-408-140-4
6bedd78
bfcl-live-multiple-409-140-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-409-140-5
6bedd78
bfcl-live-multiple-41-16-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-41-16-0
6bedd78
bfcl-live-multiple-410-140-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-410-140-6
6bedd78
bfcl-live-multiple-411-141-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-411-141-0
6bedd78
bfcl-live-multiple-412-141-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-412-141-1
6bedd78
bfcl-live-multiple-413-141-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-413-141-2
6bedd78
bfcl-live-multiple-414-141-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-414-141-3
6bedd78
bfcl-live-multiple-415-141-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-415-141-4
6bedd78
bfcl-live-multiple-416-141-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-416-141-5
6bedd78
bfcl-live-multiple-417-141-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-417-141-6
6bedd78
bfcl-live-multiple-418-141-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-418-141-7
6bedd78
bfcl-live-multiple-419-141-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-419-141-8
6bedd78
bfcl-live-multiple-42-16-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-42-16-1
6bedd78
bfcl-live-multiple-420-141-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-420-141-9
6bedd78
bfcl-live-multiple-421-141-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-421-141-10
6bedd78
bfcl-live-multiple-422-141-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-422-141-11
6bedd78
bfcl-live-multiple-423-141-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-423-141-12
6bedd78
bfcl-live-multiple-424-141-13
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-424-141-13
6bedd78
bfcl-live-multiple-425-141-14
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-425-141-14
6bedd78
bfcl-live-multiple-426-141-15
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-426-141-15
6bedd78
bfcl-live-multiple-427-141-16
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-427-141-16
6bedd78
bfcl-live-multiple-428-141-17
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-428-141-17
6bedd78
bfcl-live-multiple-429-141-18
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-429-141-18
6bedd78
bfcl-live-multiple-43-16-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-43-16-2
6bedd78
bfcl-live-multiple-430-141-19
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-430-141-19
6bedd78
bfcl-live-multiple-431-141-20
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-431-141-20
6bedd78
bfcl-live-multiple-432-141-21
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-432-141-21
6bedd78
bfcl-live-multiple-433-141-22
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-433-141-22
6bedd78
bfcl-live-multiple-434-142-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-434-142-0
6bedd78
bfcl-live-multiple-435-142-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-435-142-1
6bedd78
bfcl-live-multiple-436-142-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-436-142-2
6bedd78
bfcl-live-multiple-437-142-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-437-142-3
6bedd78
bfcl-live-multiple-438-142-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-438-142-4
6bedd78
bfcl-live-multiple-439-143-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-439-143-0
6bedd78
bfcl-live-multiple-44-17-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-44-17-0
6bedd78
bfcl-live-multiple-440-144-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-440-144-0
6bedd78
bfcl-live-multiple-441-144-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-441-144-1
6bedd78
bfcl-live-multiple-442-144-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-442-144-2
6bedd78
bfcl-live-multiple-443-144-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-443-144-3
6bedd78
bfcl-live-multiple-444-144-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-444-144-4
6bedd78
bfcl-live-multiple-445-144-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-445-144-5
6bedd78
bfcl-live-multiple-446-144-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-446-144-6
6bedd78
bfcl-live-multiple-447-144-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-447-144-7
6bedd78
bfcl-live-multiple-448-144-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-448-144-8
6bedd78
bfcl-live-multiple-449-145-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-449-145-0
6bedd78
bfcl-live-multiple-45-18-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-45-18-0
6bedd78
bfcl-live-multiple-450-145-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-450-145-1
6bedd78
bfcl-live-multiple-451-145-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-451-145-2
6bedd78
bfcl-live-multiple-452-145-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-452-145-3
6bedd78
bfcl-live-multiple-453-145-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-453-145-4
6bedd78
bfcl-live-multiple-454-145-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-454-145-5
6bedd78
bfcl-live-multiple-455-145-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-455-145-6
6bedd78
bfcl-live-multiple-456-145-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-456-145-7
6bedd78
bfcl-live-multiple-457-145-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-457-145-8
6bedd78
bfcl-live-multiple-458-145-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-458-145-9
6bedd78
bfcl-live-multiple-459-145-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-459-145-10
6bedd78
bfcl-live-multiple-46-18-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-46-18-1
6bedd78
bfcl-live-multiple-460-145-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-460-145-11
6bedd78
bfcl-live-multiple-461-145-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-461-145-12
6bedd78
bfcl-live-multiple-462-145-13
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-462-145-13
6bedd78
bfcl-live-multiple-463-145-14
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-463-145-14
6bedd78
bfcl-live-multiple-464-145-15
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-464-145-15
6bedd78
bfcl-live-multiple-465-145-16
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-465-145-16
6bedd78
bfcl-live-multiple-466-145-17
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-466-145-17
6bedd78
bfcl-live-multiple-467-145-18
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-467-145-18
6bedd78
bfcl-live-multiple-468-145-19
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-468-145-19
6bedd78
bfcl-live-multiple-469-145-20
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-469-145-20
6bedd78
bfcl-live-multiple-47-18-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-47-18-2
6bedd78
bfcl-live-multiple-470-145-21
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-470-145-21
6bedd78
bfcl-live-multiple-471-145-22
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-471-145-22
6bedd78
bfcl-live-multiple-472-145-23
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-472-145-23
6bedd78
bfcl-live-multiple-473-145-24
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-473-145-24
6bedd78
bfcl-live-multiple-474-145-25
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-474-145-25
6bedd78
bfcl-live-multiple-475-146-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-475-146-0
6bedd78
bfcl-live-multiple-476-146-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-476-146-1
6bedd78
bfcl-live-multiple-477-146-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-477-146-2
6bedd78
bfcl-live-multiple-478-146-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-478-146-3
6bedd78
bfcl-live-multiple-479-146-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-479-146-4
6bedd78