5.4 KiB
5.4 KiB
开源LLM运维平台
LLMOps 提示词管理 LLM评估 可观测性 开源
Agenta 是什么?
Agenta 是一个用于构建生产级 LLM 应用的平台。它通过集成的提示词管理、评估和可观测性功能,帮助工程团队和产品团队更快地打造可靠的 LLM 应用。
核心功能
🧪 提示词管理与提示词工程
与领域专家(SME)协作进行提示词工程,确保生产环境不出问题。
- 交互式 LLM 游乐场:针对测试用例并排对比提示词效果
- 多模型支持:可试验 50+ 种 LLM 模型,或接入自定义模型
- 版本控制:支持分支和环境管理的提示词与配置版本控制
- 复杂配置:支持领域专家在超出简单提示词范畴的复杂配置结构上协作
📊 LLM 评估
通过人工与自动化反馈,系统性地评估 LLM 应用。
- 灵活的测试集:从生产数据、游乐场实验创建测试用例,或上传 CSV
- 内置与自定义评估器:支持 LLM-as-judge、20+ 种内置评估器,以及自定义评估器
- UI 与 API 双通道:可通过 UI(适合领域专家)或编程方式(适合工程师)运行评估
- 人工反馈集成:收集并整合专家标注
📡 LLM 可观测性
全面了解生产环境中 LLM 应用的运行状况。
- 成本与性能追踪:监控花费、延迟和使用模式
- LLM 链路追踪:通过详细追踪调试复杂工作流
- 开放标准:原生支持 OpenTelemetry,兼容 OpenLLMetry 和 OpenInference
- 集成支持:内置主流模型和框架的预集成
📸 截图
🚀 快速上手
Agenta 云版(推荐):
最简单的入门方式是通过 Agenta Cloud。免费套餐无需信用卡即可使用。
自托管 Agenta
- 克隆 Agenta:
git clone https://github.com/Agenta-AI/agenta && cd agenta
- 复制配置文件:
启动服务前,从示例文件创建环境配置文件:
cp hosting/docker-compose/oss/env.oss.gh.example hosting/docker-compose/oss/.env.oss.gh
- 启动 Agenta 服务:
docker compose -f hosting/docker-compose/oss/docker-compose.gh.yml --env-file hosting/docker-compose/oss/.env.oss.gh --profile with-web --profile with-traefik up -d
- 访问
http://localhost即可使用 Agenta。
如需在远程主机部署或使用不同端口,请参阅自托管文档和远程部署文档。
💬 社区
获取帮助、探索资源或参与贡献:
🧰 支持
🤝 参与贡献
我们欢迎各种形式的贡献——从提交 Issue、分享想法到改进代码库。
⭐ 为 Agenta 点星
欢迎给我们点星! 这有助于我们扩大社区影响力,让更多开发者了解 Agenta。
贡献者 ✨
感谢所有出色的贡献者!本项目遵循 all-contributors 规范,欢迎任何形式的贡献!
禁用匿名追踪
默认情况下,Agenta 会自动上报匿名的基础使用统计数据,帮助我们了解 Agenta 的使用方式并追踪整体使用情况与增长趋势。这些数据不包含任何敏感信息。如需禁用匿名遥测,请在 .env 文件中将 AGENTA_TELEMETRY_ENABLED 设置为 false。