bfcl

v1.0

Berkeley Function-Calling Leaderboard: 3,641 function calling tasks for evaluating LLM tool use capabilities across simple, multiple, parallel, and irrelevance categories.

uvx harbor run -d bfcl@1.0

Tasks (3641)

bfcl-live-multiple-119-45-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-119-45-4
6bedd78
bfcl-live-multiple-12-4-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-12-4-4
6bedd78
bfcl-live-multiple-120-45-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-120-45-5
6bedd78
bfcl-live-multiple-121-46-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-121-46-0
6bedd78
bfcl-live-multiple-122-46-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-122-46-1
6bedd78
bfcl-live-multiple-123-46-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-123-46-2
6bedd78
bfcl-live-multiple-124-47-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-124-47-0
6bedd78
bfcl-live-multiple-125-47-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-125-47-1
6bedd78
bfcl-live-multiple-126-48-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-126-48-0
6bedd78
bfcl-live-multiple-127-49-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-127-49-0
6bedd78
bfcl-live-multiple-128-50-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-128-50-0
6bedd78
bfcl-live-multiple-129-50-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-129-50-1
6bedd78
bfcl-live-multiple-13-4-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-13-4-5
6bedd78
bfcl-live-multiple-130-50-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-130-50-2
6bedd78
bfcl-live-multiple-131-50-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-131-50-3
6bedd78
bfcl-live-multiple-132-50-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-132-50-4
6bedd78
bfcl-live-multiple-133-50-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-133-50-5
6bedd78
bfcl-live-multiple-134-51-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-134-51-0
6bedd78
bfcl-live-multiple-135-51-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-135-51-1
6bedd78
bfcl-live-multiple-136-52-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-136-52-0
6bedd78
bfcl-live-multiple-137-52-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-137-52-1
6bedd78
bfcl-live-multiple-138-53-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-138-53-0
6bedd78
bfcl-live-multiple-139-53-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-139-53-1
6bedd78
bfcl-live-multiple-14-4-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-14-4-6
6bedd78
bfcl-live-multiple-140-54-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-140-54-0
6bedd78
bfcl-live-multiple-141-54-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-141-54-1
6bedd78
bfcl-live-multiple-142-55-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-142-55-0
6bedd78
bfcl-live-multiple-143-55-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-143-55-1
6bedd78
bfcl-live-multiple-144-56-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-144-56-0
6bedd78
bfcl-live-multiple-145-57-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-145-57-0
6bedd78
bfcl-live-multiple-146-58-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-146-58-0
6bedd78
bfcl-live-multiple-147-58-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-147-58-1
6bedd78
bfcl-live-multiple-148-58-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-148-58-2
6bedd78
bfcl-live-multiple-149-58-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-149-58-3
6bedd78
bfcl-live-multiple-15-4-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-15-4-7
6bedd78
bfcl-live-multiple-150-58-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-150-58-4
6bedd78
bfcl-live-multiple-151-58-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-151-58-5
6bedd78
bfcl-live-multiple-152-58-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-152-58-6
6bedd78
bfcl-live-multiple-153-58-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-153-58-7
6bedd78
bfcl-live-multiple-154-58-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-154-58-8
6bedd78
bfcl-live-multiple-155-58-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-155-58-9
6bedd78
bfcl-live-multiple-156-59-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-156-59-0
6bedd78
bfcl-live-multiple-157-60-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-157-60-0
6bedd78
bfcl-live-multiple-158-61-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-158-61-0
6bedd78
bfcl-live-multiple-159-62-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-159-62-0
6bedd78
bfcl-live-multiple-16-4-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-16-4-8
6bedd78
bfcl-live-multiple-160-62-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-160-62-1
6bedd78
bfcl-live-multiple-161-63-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-161-63-0
6bedd78
bfcl-live-multiple-162-63-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-162-63-1
6bedd78
bfcl-live-multiple-163-64-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-163-64-0
6bedd78
bfcl-live-multiple-164-65-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-164-65-0
6bedd78
bfcl-live-multiple-165-65-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-165-65-1
6bedd78
bfcl-live-multiple-166-66-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-166-66-0
6bedd78
bfcl-live-multiple-167-67-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-167-67-0
6bedd78
bfcl-live-multiple-168-68-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-168-68-0
6bedd78
bfcl-live-multiple-169-69-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-169-69-0
6bedd78
bfcl-live-multiple-17-4-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-17-4-9
6bedd78
bfcl-live-multiple-170-70-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-170-70-0
6bedd78
bfcl-live-multiple-171-71-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-171-71-0
6bedd78
bfcl-live-multiple-172-71-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-172-71-1
6bedd78
bfcl-live-multiple-173-71-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-173-71-2
6bedd78
bfcl-live-multiple-174-72-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-174-72-0
6bedd78
bfcl-live-multiple-175-72-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-175-72-1
6bedd78
bfcl-live-multiple-176-73-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-176-73-0
6bedd78
bfcl-live-multiple-177-74-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-177-74-0
6bedd78
bfcl-live-multiple-178-75-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-178-75-0
6bedd78
bfcl-live-multiple-179-75-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-179-75-1
6bedd78
bfcl-live-multiple-18-4-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-18-4-10
6bedd78
bfcl-live-multiple-180-76-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-180-76-0
6bedd78
bfcl-live-multiple-181-76-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-181-76-1
6bedd78
bfcl-live-multiple-182-77-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-182-77-0
6bedd78
bfcl-live-multiple-183-78-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-183-78-0
6bedd78
bfcl-live-multiple-184-79-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-184-79-0
6bedd78
bfcl-live-multiple-185-80-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-185-80-0
6bedd78
bfcl-live-multiple-186-81-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-186-81-0
6bedd78
bfcl-live-multiple-187-82-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-187-82-0
6bedd78
bfcl-live-multiple-188-82-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-188-82-1
6bedd78
bfcl-live-multiple-189-83-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-189-83-0
6bedd78
bfcl-live-multiple-19-4-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-19-4-11
6bedd78
bfcl-live-multiple-190-84-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-190-84-0
6bedd78
bfcl-live-multiple-191-85-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-191-85-0
6bedd78
bfcl-live-multiple-192-86-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-192-86-0
6bedd78
bfcl-live-multiple-193-87-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-193-87-0
6bedd78
bfcl-live-multiple-194-87-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-194-87-1
6bedd78
bfcl-live-multiple-195-87-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-195-87-2
6bedd78
bfcl-live-multiple-196-88-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-196-88-0
6bedd78
bfcl-live-multiple-197-89-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-197-89-0
6bedd78
bfcl-live-multiple-198-90-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-198-90-0
6bedd78
bfcl-live-multiple-199-90-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-199-90-1
6bedd78
bfcl-live-multiple-2-1-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-2-1-0
6bedd78
bfcl-live-multiple-20-4-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-20-4-12
6bedd78
bfcl-live-multiple-200-90-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-200-90-2
6bedd78
bfcl-live-multiple-201-90-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-201-90-3
6bedd78
bfcl-live-multiple-202-90-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-202-90-4
6bedd78
bfcl-live-multiple-203-90-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-203-90-5
6bedd78
bfcl-live-multiple-204-90-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-204-90-6
6bedd78
bfcl-live-multiple-205-90-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-205-90-7
6bedd78
bfcl-live-multiple-206-91-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-206-91-0
6bedd78
bfcl-live-multiple-207-91-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-207-91-1
6bedd78
bfcl-live-multiple-208-91-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-multiple-208-91-2
6bedd78