ade-bench

v1.0

Analytics Data Engineer Bench: tasks evaluating AI agents on dbt/SQL data analytics engineering bugs. Original benchmark: https://github.com/dbt-labs/ade-bench.

uvx harbor run -d ade-bench@1.0

Tasks (48)

ade-bench-airbnb001
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb001
b4e82de
ade-bench-airbnb002
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb002
b4e82de
ade-bench-airbnb003
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb003
b4e82de
ade-bench-airbnb004
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb004
b4e82de
ade-bench-airbnb005
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb005
b4e82de
ade-bench-airbnb006
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb006
b4e82de
ade-bench-airbnb007
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb007
b4e82de
ade-bench-airbnb008
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb008
b4e82de
ade-bench-airbnb009
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb009
b4e82de
ade-bench-ana-eng001
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng001
b4e82de
ade-bench-ana-eng002
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng002
b4e82de
ade-bench-ana-eng002-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng002-medium
b4e82de
ade-bench-ana-eng003
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng003
b4e82de
ade-bench-ana-eng004
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng004
b4e82de
ade-bench-ana-eng005
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng005
b4e82de
ade-bench-ana-eng006
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng006
b4e82de
ade-bench-ana-eng007
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng007
b4e82de
ade-bench-ana-eng007-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng007-medium
b4e82de
ade-bench-ana-eng008
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng008
b4e82de
ade-bench-asana001
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana001
b4e82de
ade-bench-asana002
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana002
b4e82de
ade-bench-asana003
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana003
b4e82de
ade-bench-asana004
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana004
b4e82de
ade-bench-asana005
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana005
b4e82de
ade-bench-asana005-hard
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana005-hard
b4e82de
ade-bench-f1001
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1001
b4e82de
ade-bench-f1002
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1002
b4e82de
ade-bench-f1003
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1003
b4e82de
ade-bench-f1003-hard
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1003-hard
b4e82de
ade-bench-f1004
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1004
b4e82de
ade-bench-f1005
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1005
b4e82de
ade-bench-f1005-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1005-medium
b4e82de
ade-bench-f1006
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1006
b4e82de
ade-bench-f1006-hard
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1006-hard
b4e82de
ade-bench-f1007
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1007
b4e82de
ade-bench-f1007-hard
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1007-hard
b4e82de
ade-bench-f1007-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1007-medium
b4e82de
ade-bench-f1009
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1009
b4e82de
ade-bench-f1010
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1010
b4e82de
ade-bench-f1010-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1010-medium
b4e82de
ade-bench-f1011
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1011
b4e82de
ade-bench-intercom001
uvx harbor run -d ade-bench@1.0 -t ade-bench-intercom001
b4e82de
ade-bench-intercom002
uvx harbor run -d ade-bench@1.0 -t ade-bench-intercom002
b4e82de
ade-bench-intercom003
uvx harbor run -d ade-bench@1.0 -t ade-bench-intercom003
b4e82de
ade-bench-quickbooks001
uvx harbor run -d ade-bench@1.0 -t ade-bench-quickbooks001
b4e82de
ade-bench-quickbooks002
uvx harbor run -d ade-bench@1.0 -t ade-bench-quickbooks002
b4e82de
ade-bench-quickbooks003
uvx harbor run -d ade-bench@1.0 -t ade-bench-quickbooks003
b4e82de
ade-bench-quickbooks004
uvx harbor run -d ade-bench@1.0 -t ade-bench-quickbooks004
b4e82de