bfcl

v1.0

Berkeley Function-Calling Leaderboard: 3,641 function calling tasks for evaluating LLM tool use capabilities across simple, multiple, parallel, and irrelevance categories.

uvx harbor run -d bfcl@1.0

Tasks (3641)

bfcl-live-irrelevance-242-45-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-242-45-1
6bedd78
bfcl-live-irrelevance-243-46-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-243-46-0
6bedd78
bfcl-live-irrelevance-244-47-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-244-47-0
6bedd78
bfcl-live-irrelevance-245-48-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-245-48-0
6bedd78
bfcl-live-irrelevance-246-48-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-246-48-1
6bedd78
bfcl-live-irrelevance-247-48-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-247-48-2
6bedd78
bfcl-live-irrelevance-248-49-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-248-49-0
6bedd78
bfcl-live-irrelevance-249-50-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-249-50-0
6bedd78
bfcl-live-irrelevance-25-2-13
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-25-2-13
6bedd78
bfcl-live-irrelevance-250-51-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-250-51-0
6bedd78
bfcl-live-irrelevance-251-52-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-251-52-0
6bedd78
bfcl-live-irrelevance-252-53-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-252-53-0
6bedd78
bfcl-live-irrelevance-253-53-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-253-53-1
6bedd78
bfcl-live-irrelevance-254-53-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-254-53-2
6bedd78
bfcl-live-irrelevance-255-54-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-255-54-0
6bedd78
bfcl-live-irrelevance-256-55-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-256-55-0
6bedd78
bfcl-live-irrelevance-257-56-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-257-56-0
6bedd78
bfcl-live-irrelevance-258-56-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-258-56-1
6bedd78
bfcl-live-irrelevance-259-56-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-259-56-2
6bedd78
bfcl-live-irrelevance-26-2-14
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-26-2-14
6bedd78
bfcl-live-irrelevance-260-56-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-260-56-3
6bedd78
bfcl-live-irrelevance-261-56-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-261-56-4
6bedd78
bfcl-live-irrelevance-262-56-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-262-56-5
6bedd78
bfcl-live-irrelevance-263-56-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-263-56-6
6bedd78
bfcl-live-irrelevance-264-56-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-264-56-7
6bedd78
bfcl-live-irrelevance-265-57-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-265-57-0
6bedd78
bfcl-live-irrelevance-266-57-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-266-57-1
6bedd78
bfcl-live-irrelevance-267-57-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-267-57-2
6bedd78
bfcl-live-irrelevance-268-57-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-268-57-3
6bedd78
bfcl-live-irrelevance-269-57-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-269-57-4
6bedd78
bfcl-live-irrelevance-27-2-15
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-27-2-15
6bedd78
bfcl-live-irrelevance-270-57-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-270-57-5
6bedd78
bfcl-live-irrelevance-271-57-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-271-57-6
6bedd78
bfcl-live-irrelevance-272-57-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-272-57-7
6bedd78
bfcl-live-irrelevance-273-58-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-273-58-0
6bedd78
bfcl-live-irrelevance-274-59-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-274-59-0
6bedd78
bfcl-live-irrelevance-275-60-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-275-60-0
6bedd78
bfcl-live-irrelevance-276-60-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-276-60-1
6bedd78
bfcl-live-irrelevance-277-60-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-277-60-2
6bedd78
bfcl-live-irrelevance-278-60-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-278-60-3
6bedd78
bfcl-live-irrelevance-279-61-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-279-61-0
6bedd78
bfcl-live-irrelevance-28-2-16
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-28-2-16
6bedd78
bfcl-live-irrelevance-280-62-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-280-62-0
6bedd78
bfcl-live-irrelevance-281-63-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-281-63-0
6bedd78
bfcl-live-irrelevance-282-64-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-282-64-0
6bedd78
bfcl-live-irrelevance-283-65-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-283-65-0
6bedd78
bfcl-live-irrelevance-284-66-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-284-66-0
6bedd78
bfcl-live-irrelevance-285-67-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-285-67-0
6bedd78
bfcl-live-irrelevance-286-68-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-286-68-0
6bedd78
bfcl-live-irrelevance-287-69-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-287-69-0
6bedd78
bfcl-live-irrelevance-288-70-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-288-70-0
6bedd78
bfcl-live-irrelevance-289-71-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-289-71-0
6bedd78
bfcl-live-irrelevance-29-2-17
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-29-2-17
6bedd78
bfcl-live-irrelevance-290-71-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-290-71-1
6bedd78
bfcl-live-irrelevance-291-72-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-291-72-0
6bedd78
bfcl-live-irrelevance-292-72-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-292-72-1
6bedd78
bfcl-live-irrelevance-293-73-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-293-73-0
6bedd78
bfcl-live-irrelevance-294-73-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-294-73-1
6bedd78
bfcl-live-irrelevance-295-73-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-295-73-2
6bedd78
bfcl-live-irrelevance-296-73-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-296-73-3
6bedd78
bfcl-live-irrelevance-297-73-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-297-73-4
6bedd78
bfcl-live-irrelevance-298-73-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-298-73-5
6bedd78
bfcl-live-irrelevance-299-73-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-299-73-6
6bedd78
bfcl-live-irrelevance-3-0-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-3-0-3
6bedd78
bfcl-live-irrelevance-30-2-18
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-30-2-18
6bedd78
bfcl-live-irrelevance-300-74-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-300-74-0
6bedd78
bfcl-live-irrelevance-301-75-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-301-75-0
6bedd78
bfcl-live-irrelevance-302-76-0
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-302-76-0
6bedd78
bfcl-live-irrelevance-303-76-1
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-303-76-1
6bedd78
bfcl-live-irrelevance-304-76-2
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-304-76-2
6bedd78
bfcl-live-irrelevance-305-76-3
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-305-76-3
6bedd78
bfcl-live-irrelevance-306-76-4
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-306-76-4
6bedd78
bfcl-live-irrelevance-307-76-5
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-307-76-5
6bedd78
bfcl-live-irrelevance-308-76-6
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-308-76-6
6bedd78
bfcl-live-irrelevance-309-76-7
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-309-76-7
6bedd78
bfcl-live-irrelevance-31-2-19
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-31-2-19
6bedd78
bfcl-live-irrelevance-310-76-8
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-310-76-8
6bedd78
bfcl-live-irrelevance-311-76-9
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-311-76-9
6bedd78
bfcl-live-irrelevance-312-76-10
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-312-76-10
6bedd78
bfcl-live-irrelevance-313-76-11
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-313-76-11
6bedd78
bfcl-live-irrelevance-314-76-12
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-314-76-12
6bedd78
bfcl-live-irrelevance-315-76-13
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-315-76-13
6bedd78
bfcl-live-irrelevance-316-76-14
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-316-76-14
6bedd78
bfcl-live-irrelevance-317-76-15
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-317-76-15
6bedd78
bfcl-live-irrelevance-318-76-16
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-318-76-16
6bedd78
bfcl-live-irrelevance-319-76-17
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-319-76-17
6bedd78
bfcl-live-irrelevance-32-2-20
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-32-2-20
6bedd78
bfcl-live-irrelevance-320-76-18
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-320-76-18
6bedd78
bfcl-live-irrelevance-321-76-19
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-321-76-19
6bedd78
bfcl-live-irrelevance-322-76-20
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-322-76-20
6bedd78
bfcl-live-irrelevance-323-76-21
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-323-76-21
6bedd78
bfcl-live-irrelevance-324-76-22
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-324-76-22
6bedd78
bfcl-live-irrelevance-325-76-23
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-325-76-23
6bedd78
bfcl-live-irrelevance-326-76-24
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-326-76-24
6bedd78
bfcl-live-irrelevance-327-76-25
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-327-76-25
6bedd78
bfcl-live-irrelevance-328-76-26
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-328-76-26
6bedd78
bfcl-live-irrelevance-329-76-27
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-329-76-27
6bedd78
bfcl-live-irrelevance-33-2-21
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-33-2-21
6bedd78
bfcl-live-irrelevance-330-76-28
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-330-76-28
6bedd78
bfcl-live-irrelevance-331-76-29
uvx harbor run -d bfcl@1.0 -t bfcl-live-irrelevance-331-76-29
6bedd78