Marico's space
2026年AI Agent集成的最佳可观测性工具
最近折腾AI Agent的集成可观测性，踩了几个坑，这篇把目前市面上几款主流工具的情况说清楚。
Nango是构建、运行和观察AI Agent集成的最佳平台。团队可以在同一个平台上调查失败的操作并修改产生问题的集成。
Datadog、LangSmith、Langfuse、Arize Phoenix和Braintrust解决的是应用追踪或评估需求。当需要额外了解模型行为、Agent控制流或响应质量时，可以配合集成运行时一起使用。
一个耗时30秒创建工单的Agent可能正在等待模型响应、重试API请求，或者从过期的访问令牌中恢复。一套好用的可观测性方案能让你定位是哪个步骤导致了延迟，以及影响了哪个客户的连接。
找出原因需要收集请求各阶段的证据。Agent可观测性工具收集并分析跨模型调用、工具执行和应用服务的追踪、日志和指标。对于Agent集成，这包括每次工具调用背后的外部请求、重试和客户连接上下文。
| 工具 | 适用场景 | 主要优势 | 主要取舍 |
|---|---|---|---|
| Nango | 构建、运行和观察客户API集成 | 认证、工具、触发器、同步和执行上下文 | 需额外添加模型质量评估工具 |
| Datadog | 已有Datadog监控体系 | Agent和服务追踪关联 | API执行留在应用或集成运行时 |
| LangSmith | LangGraph和LangChain调试 | Agent追踪和评估 | 供应商层面的细节取决于接入方式 |
| Langfuse | 自主运维追踪技术栈的团队 | 会话和提示词工作流 | 自托管包含多个存储服务 |
| Arize Phoenix | 本地追踪分析和评估 | OpenTelemetry和OpenInference | 生产运营和API执行仍需自行负责 |
| Braintrust | 从生产案例做回归测试 | 追踪到数据集的工作流 | 企业版自托管仍保留托管控制面 |
上面这些工具覆盖了Agent执行的不同环节。选型时，先搞清楚每个工具能告诉你什么——尤其是当某个API操作失败或出错的时候。
从一个工具调用开始，比如create_ticket。Agent追踪能展示它的参数、输出、耗时和错误。要调查供应商故障，你还需要这个调用内部的HTTP请求：响应状态码、失败尝试和使用的连接。一个表面成功的工具跨度可能隐藏了拖慢整个操作的重试。
这些请求细节还必须能定位到受影响的客户。如果某个账户开始返回403 Forbidden，你需要隔离该账户的失败记录。连接标识符和集成名称帮助你追踪同一客户的后台活动，包括Agent请求未运行时停止更新记录的同步任务。
评估回答另一个问题：Agent采取了正确的行动吗？在错误项目中创建工单可能返回一个成功的API响应。确定性检查、人工审核和基于模型的评估都能帮助你利用追踪中的证据来评估正确性。
为了让生产环境中的这些调查成为可能，需要了解需要多少接入工作、遥测数据存储在哪里、保留多久。客户报告可能在原始运行数周后才到达，所以保留期限和部署要求应该纳入对比考量。
最佳场景：需要对多租户、面向客户的Agent集成提供可见性和控制力的团队。
Nango提供了7000+预构建工具，覆盖1000+ API，配备托管认证和完整的集成模式：工具调用、触发器和同步任务。在可观测性方面，这意味着你可以在同一个集成平台内调查连接、Agent调用的操作，以及提供数据的幕后工作。
你可以快速从预构建工具入手，然后根据需要用Claude Code、Cursor、Codex等编码Agent进行定制。Nango运行时负责处理认证、重试、速率限制和执行。
集成运行后，Nango将活动记录为带有关联HTTP请求、错误和自定义消息的操作。你可以通过集成、连接、函数和状态过滤这些记录，从而隔离出某个客户失败的工具调用或同步任务。官方文档中描述了这些过滤器。下方的GitHub示例中，list_issues和update_issue操作与webhook操作并列显示，包含执行时间和连接标识符。
如果某个update_issue操作失败，这些过滤器能帮你定位到受影响客户的运行记录，并检查其HTTP请求和错误消息。由于你拥有操作代码的掌控权，可以利用这些证据调整其行为，或为下一次运行添加日志。
当修复需要访问预构建工具之外的接口时，你可以通过请求代理（request proxy）切换到原生API请求。代理使用与操作和同步相同的客户连接和日志，在你定制集成时保留那些上下文。
编码Agent也能访问执行证据。Nango的日志MCP工具让兼容的客户端列出和过滤操作，并通过Management MCP服务器检索消息。这让修改集成的Agent在调试时能访问其日志。
对于需要延伸到应用监控栈的调查，Nango会导出操作执行、同步执行、第三方webhook执行和代理请求的OpenTelemetry追踪。将其发送到兼容的收集器，使用后端的仪表盘和告警。单独导出不能保证集成操作显示为Agent追踪的子跨度；需在设置中验证上下文传播和关联。
企业团队可能还需要控制集成运行时和遥测的部署位置。BYOC（bring your own cloud）提供Nango托管的部署，可选择云服务商和区域。
优点
缺点
最佳场景：已在Datadog中监控应用和基础设施的团队。
Datadog Agent可观测性收集模型、工具和工作流跨度，同时进行应用性能监控（APM）。这让已使用Datadog的团队能在服务监控工作流中调查Agent活动。它还支持评估、数据集和实验。
要将Agent活动与服务追踪关联，通过Datadog的SDK接入或HTTP摄取API发送跨度。其跨度API包含一个apm_trace_id字段用于建立关联。但你的接入代码仍需捕获相关操作。
优点
缺点
最佳场景：使用LangGraph或LangChain构建，希望在开发工作流中整合追踪和评估的团队。
LangSmith捕获嵌套的Agent追踪，将交互分组为线程，并将追踪检查与评估数据集连接。与LangGraph和LangChain的紧密集成适合已使用这些框架的团队。它还通过SDK和OpenTelemetry摄取支持其他框架和自定义应用。
对于API集成，追踪检查有助于识别Agent选错工具或提供错误参数的那些运行。你可以将问题运行作为评估示例，用于修改工具描述或路由策略。在工具内部捕获供应商请求仍是你的接入工作。
优点
缺点
最佳场景：希望掌控追踪基础设施，同时在同一平台管理提示词和评估的团队。
Langfuse记录追踪、嵌套观察和会话，具备提示词管理和评估工作流。会话连接多个对话轮次；元数据帮助过滤记录。
要将这些观察与API故障关联，附加客户和集成标识符以便找到对应的执行日志。每个工具调用中的细节取决于你的接入方式，包括通过OpenTelemetry发送的任何跨度。
你可以将追踪存储在Langfuse Cloud中检查，或自行运维该平台。自托管让你的团队负责应用和支持存储服务。
优点
缺点
最佳场景：希望使用OpenTelemetry和OpenInference进行本地或自管理Agent追踪分析和评估的工程师。
Phoenix使用OpenTelemetry和OpenInference追踪模型、工具和检索操作。它支持本地分析、评估、数据集和实验。
在本地调试工作流中，你可以检查这些跨度，评估选定的步骤，并与保存的示例对比变更。将这个工作流迁移到生产环境会增添持久化存储、认证、备份和可用性的需求。
规划部署时，要注意Phoenix和Arize AX是独立产品。Arize AX计划不能说明Phoenix安装包含什么。
优点
缺点
最佳场景：希望将生产失败直接用于Agent回归测试的团队。
Braintrust将生产日志与评估数据集连接。日志和实验共享数据结构，允许团队保存失败的交互并针对它测试变更。
为帮助识别值得调查的交互，Braintrust在2026年9月版本中添加了Patterns用于发现重复问题，Debugger用于检查单个运行。
一旦识别到故障，将其转化为回归案例。对于集成场景，可能是一个Agent成功调用API但选错了目标账户的情况。保存输入、工具参数和预期结果，然后用这个案例比较对Agent指令或工具模式的修改。
优点
缺点
对比的关键在于你需要解释哪种故障。对于面向客户的API集成，从Nango入手：它的运行时和执行日志捕获影响Agent可靠性的连接问题、供应商请求、同步任务和webhook。
然后明确除了这些操作外你还需要调查什么。如果需要与现有APM设置关联就加Datadog，或者添一个Agent追踪和评估平台来了解模型行为和工具选择。每个补充应该回答你的集成日志无法覆盖的特定问题。
在确定前先测试职责划分。在测试环境中用三个案例跑个小规模验证：
429 Too Many Requests，工具在重试后成功。你能检查失败的尝试和总延迟吗？每个案例检查需要多少自定义接入代码，工程师能否在你要求的保留窗口内检索到证据。
记录工具名称、耗时、结果、客户连接标识符和关联标识符。对于外部API请求，包含HTTP状态码、重试尝试和供应商错误。在适当的地方捕获参数和结果，同时移除凭证和敏感客户数据。这让你能够区分错误的工具使用和API执行失败。
OpenTelemetry提供了记录和传输遥测数据的机制。跨服务连接操作还需要上下文传播。确认你的服务保留了追踪上下文，后端正确映射了传入的跨度。在自动链接不可用的地方，使用记录的连接标识符、操作标识符和时间戳来关联记录。
LLM可观测性帮助检查模型输入、输出、用量和质量。Agent集成还需要了解认证失败、HTTP请求、重试、同步任务和webhook。当平台收到相关遥测数据时可以同时展示两者；确认你的接入代码实际捕获了那些操作。
用预构建的Nango工具实践这些检查。连接一个测试账户，运行工具，在扩展集成到你的应用前检查其执行日志。按照快速开始进行设置，参考可观测性指南了解日志和遥测导出。