bfcl

v1.0

Berkeley Function-Calling Leaderboard: 3,641 function calling tasks for evaluating LLM tool use capabilities across simple, multiple, parallel, and irrelevance categories.

uvx harbor run -d bfcl@1.0

Tasks (3641)

bfcl-live-irrelevance-152-16-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-152-16-1
6bedd78
bfcl-live-irrelevance-153-17-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-153-17-0
6bedd78
bfcl-live-irrelevance-154-17-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-154-17-1
6bedd78
bfcl-live-irrelevance-155-17-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-155-17-2
6bedd78
bfcl-live-irrelevance-156-18-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-156-18-0
6bedd78
bfcl-live-irrelevance-157-18-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-157-18-1
6bedd78
bfcl-live-irrelevance-158-19-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-158-19-0
6bedd78
bfcl-live-irrelevance-159-19-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-159-19-1
6bedd78
bfcl-live-irrelevance-16-2-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-16-2-4
6bedd78
bfcl-live-irrelevance-160-19-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-160-19-2
6bedd78
bfcl-live-irrelevance-161-20-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-161-20-0
6bedd78
bfcl-live-irrelevance-162-20-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-162-20-1
6bedd78
bfcl-live-irrelevance-163-20-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-163-20-2
6bedd78
bfcl-live-irrelevance-164-21-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-164-21-0
6bedd78
bfcl-live-irrelevance-165-21-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-165-21-1
6bedd78
bfcl-live-irrelevance-166-21-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-166-21-2
6bedd78
bfcl-live-irrelevance-167-22-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-167-22-0
6bedd78
bfcl-live-irrelevance-168-23-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-168-23-0
6bedd78
bfcl-live-irrelevance-169-23-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-169-23-1
6bedd78
bfcl-live-irrelevance-17-2-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-17-2-5
6bedd78
bfcl-live-irrelevance-170-24-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-170-24-0
6bedd78
bfcl-live-irrelevance-171-25-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-171-25-0
6bedd78
bfcl-live-irrelevance-172-26-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-172-26-0
6bedd78
bfcl-live-irrelevance-173-27-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-173-27-0
6bedd78
bfcl-live-irrelevance-174-27-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-174-27-1
6bedd78
bfcl-live-irrelevance-175-27-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-175-27-2
6bedd78
bfcl-live-irrelevance-176-28-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-176-28-0
6bedd78
bfcl-live-irrelevance-177-29-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-177-29-0
6bedd78
bfcl-live-irrelevance-178-29-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-178-29-1
6bedd78
bfcl-live-irrelevance-179-30-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-179-30-0
6bedd78
bfcl-live-irrelevance-18-2-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-18-2-6
6bedd78
bfcl-live-irrelevance-180-30-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-180-30-1
6bedd78
bfcl-live-irrelevance-181-31-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-181-31-0
6bedd78
bfcl-live-irrelevance-182-31-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-182-31-1
6bedd78
bfcl-live-irrelevance-183-31-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-183-31-2
6bedd78
bfcl-live-irrelevance-184-31-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-184-31-3
6bedd78
bfcl-live-irrelevance-185-31-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-185-31-4
6bedd78
bfcl-live-irrelevance-186-31-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-186-31-5
6bedd78
bfcl-live-irrelevance-187-32-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-187-32-0
6bedd78
bfcl-live-irrelevance-188-32-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-188-32-1
6bedd78
bfcl-live-irrelevance-189-32-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-189-32-2
6bedd78
bfcl-live-irrelevance-19-2-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-19-2-7
6bedd78
bfcl-live-irrelevance-190-32-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-190-32-3
6bedd78
bfcl-live-irrelevance-191-32-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-191-32-4
6bedd78
bfcl-live-irrelevance-192-32-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-192-32-5
6bedd78
bfcl-live-irrelevance-193-32-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-193-32-6
6bedd78
bfcl-live-irrelevance-194-32-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-194-32-7
6bedd78
bfcl-live-irrelevance-195-32-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-195-32-8
6bedd78
bfcl-live-irrelevance-196-32-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-196-32-9
6bedd78
bfcl-live-irrelevance-197-32-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-197-32-10
6bedd78
bfcl-live-irrelevance-198-32-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-198-32-11
6bedd78
bfcl-live-irrelevance-199-32-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-199-32-12
6bedd78
bfcl-live-irrelevance-2-0-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-2-0-2
6bedd78
bfcl-live-irrelevance-20-2-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-20-2-8
6bedd78
bfcl-live-irrelevance-200-32-13
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-200-32-13
6bedd78
bfcl-live-irrelevance-201-32-14
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-201-32-14
6bedd78
bfcl-live-irrelevance-202-32-15
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-202-32-15
6bedd78
bfcl-live-irrelevance-203-32-16
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-203-32-16
6bedd78
bfcl-live-irrelevance-204-32-17
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-204-32-17
6bedd78
bfcl-live-irrelevance-205-32-18
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-205-32-18
6bedd78
bfcl-live-irrelevance-206-32-19
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-206-32-19
6bedd78
bfcl-live-irrelevance-207-32-20
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-207-32-20
6bedd78
bfcl-live-irrelevance-208-32-21
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-208-32-21
6bedd78
bfcl-live-irrelevance-209-32-22
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-209-32-22
6bedd78
bfcl-live-irrelevance-21-2-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-21-2-9
6bedd78
bfcl-live-irrelevance-210-33-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-210-33-0
6bedd78
bfcl-live-irrelevance-211-34-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-211-34-0
6bedd78
bfcl-live-irrelevance-212-34-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-212-34-1
6bedd78
bfcl-live-irrelevance-213-34-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-213-34-2
6bedd78
bfcl-live-irrelevance-214-34-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-214-34-3
6bedd78
bfcl-live-irrelevance-215-34-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-215-34-4
6bedd78
bfcl-live-irrelevance-216-34-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-216-34-5
6bedd78
bfcl-live-irrelevance-217-34-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-217-34-6
6bedd78
bfcl-live-irrelevance-218-34-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-218-34-7
6bedd78
bfcl-live-irrelevance-219-34-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-219-34-8
6bedd78
bfcl-live-irrelevance-22-2-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-22-2-10
6bedd78
bfcl-live-irrelevance-220-34-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-220-34-9
6bedd78
bfcl-live-irrelevance-221-34-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-221-34-10
6bedd78
bfcl-live-irrelevance-222-34-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-222-34-11
6bedd78
bfcl-live-irrelevance-223-34-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-223-34-12
6bedd78
bfcl-live-irrelevance-224-34-13
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-224-34-13
6bedd78
bfcl-live-irrelevance-225-35-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-225-35-0
6bedd78
bfcl-live-irrelevance-226-35-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-226-35-1
6bedd78
bfcl-live-irrelevance-227-35-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-227-35-2
6bedd78
bfcl-live-irrelevance-228-35-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-228-35-3
6bedd78
bfcl-live-irrelevance-229-36-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-229-36-0
6bedd78
bfcl-live-irrelevance-23-2-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-23-2-11
6bedd78
bfcl-live-irrelevance-230-36-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-230-36-1
6bedd78
bfcl-live-irrelevance-231-37-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-231-37-0
6bedd78
bfcl-live-irrelevance-232-38-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-232-38-0
6bedd78
bfcl-live-irrelevance-233-38-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-233-38-1
6bedd78
bfcl-live-irrelevance-234-39-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-234-39-0
6bedd78
bfcl-live-irrelevance-235-40-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-235-40-0
6bedd78
bfcl-live-irrelevance-236-41-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-236-41-0
6bedd78
bfcl-live-irrelevance-237-42-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-237-42-0
6bedd78
bfcl-live-irrelevance-238-43-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-238-43-0
6bedd78
bfcl-live-irrelevance-239-43-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-239-43-1
6bedd78
bfcl-live-irrelevance-24-2-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-24-2-12
6bedd78
bfcl-live-irrelevance-240-44-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-240-44-0
6bedd78
bfcl-live-irrelevance-241-45-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-241-45-0
6bedd78