ade-bench
v1.0Analytics Data Engineer Bench: tasks evaluating AI agents on dbt/SQL data analytics engineering bugs. Original benchmark: https://github.com/dbt-labs/ade-bench.
uvx harbor run -d ade-bench@1.0Tasks (48)
ade-bench-airbnb001
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb001b4e82de
ade-bench-airbnb002
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb002b4e82de
ade-bench-airbnb003
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb003b4e82de
ade-bench-airbnb004
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb004b4e82de
ade-bench-airbnb005
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb005b4e82de
ade-bench-airbnb006
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb006b4e82de
ade-bench-airbnb007
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb007b4e82de
ade-bench-airbnb008
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb008b4e82de
ade-bench-airbnb009
uvx harbor run -d ade-bench@1.0 -t ade-bench-airbnb009b4e82de
ade-bench-ana-eng001
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng001b4e82de
ade-bench-ana-eng002
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng002b4e82de
ade-bench-ana-eng002-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng002-mediumb4e82de
ade-bench-ana-eng003
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng003b4e82de
ade-bench-ana-eng004
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng004b4e82de
ade-bench-ana-eng005
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng005b4e82de
ade-bench-ana-eng006
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng006b4e82de
ade-bench-ana-eng007
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng007b4e82de
ade-bench-ana-eng007-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng007-mediumb4e82de
ade-bench-ana-eng008
uvx harbor run -d ade-bench@1.0 -t ade-bench-ana-eng008b4e82de
ade-bench-asana001
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana001b4e82de
ade-bench-asana002
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana002b4e82de
ade-bench-asana003
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana003b4e82de
ade-bench-asana004
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana004b4e82de
ade-bench-asana005
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana005b4e82de
ade-bench-asana005-hard
uvx harbor run -d ade-bench@1.0 -t ade-bench-asana005-hardb4e82de
ade-bench-f1001
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1001b4e82de
ade-bench-f1002
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1002b4e82de
ade-bench-f1003
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1003b4e82de
ade-bench-f1003-hard
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1003-hardb4e82de
ade-bench-f1004
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1004b4e82de
ade-bench-f1005
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1005b4e82de
ade-bench-f1005-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1005-mediumb4e82de
ade-bench-f1006
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1006b4e82de
ade-bench-f1006-hard
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1006-hardb4e82de
ade-bench-f1007
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1007b4e82de
ade-bench-f1007-hard
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1007-hardb4e82de
ade-bench-f1007-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1007-mediumb4e82de
ade-bench-f1009
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1009b4e82de
ade-bench-f1010
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1010b4e82de
ade-bench-f1010-medium
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1010-mediumb4e82de
ade-bench-f1011
uvx harbor run -d ade-bench@1.0 -t ade-bench-f1011b4e82de
ade-bench-intercom001
uvx harbor run -d ade-bench@1.0 -t ade-bench-intercom001b4e82de
ade-bench-intercom002
uvx harbor run -d ade-bench@1.0 -t ade-bench-intercom002b4e82de
ade-bench-intercom003
uvx harbor run -d ade-bench@1.0 -t ade-bench-intercom003b4e82de
ade-bench-quickbooks001
uvx harbor run -d ade-bench@1.0 -t ade-bench-quickbooks001b4e82de
ade-bench-quickbooks002
uvx harbor run -d ade-bench@1.0 -t ade-bench-quickbooks002b4e82de
ade-bench-quickbooks003
uvx harbor run -d ade-bench@1.0 -t ade-bench-quickbooks003b4e82de
ade-bench-quickbooks004
uvx harbor run -d ade-bench@1.0 -t ade-bench-quickbooks004b4e82de