Marico's space

最近折腾了一套 AI Agent（人工智能代理）系统，配合业务方跑自动化流程，踩了几个坑才明白：AI 从"能说话"变成"能办事"之后，风险模型完全不一样了。一个聊天机器人答错了，顶多让用户翻个白眼；一个 Agent 直接操作数据库、发邮件、转钱，出了岔子就是生产事故。这篇把怎么给 Agent 加人在回路（HITL）控制说清楚，不整虚的。

为什么 Agent 必须有人盯着

Chatbot 答错话顶多让人烦，Agent 干错事是线上故障。LLM（大语言模型）一旦能调用工具，失败模式就彻底变了。

HITL 不是因为不信任 AI，而是风险级别不同，监督力度就该不同。读个文件？低风险，全自动跑。删生产库表？高风险，每次都得人肉审批。

ESG 调研数据显示，80% 的企业把 AI Agent 列为高优先事项，51% 已经把人在回路作为管理 Agent 风险的首选手段。贝恩公司的调研也说明，把 AI 从助手模式升级到 Agent 自动执行模式后，满意度是上升的——但前提是坏动作不会触发回滚、客诉和复盘。HITL 的目的不是让 Agent 处处慢下来，是把人工注意力花在真正需要的地方。

人在回路的核心模式

1. 高风险操作前的审批门控

最简单粗暴的方案：Agent 提议动作，人审批了才执行。识别为高风险就挂起等人工，过了执行，拒了就取消并记录。

适合不可逆或代价高的操作：发外部邮件、转账、删数据、发版上线。审批入口要浅，一个 Slack 消息带"批准/拒绝"按钮比埋在某个没人看的后台强一百倍。

2. 基于置信度的路由

不是所有动作都要人工 review。根据模型置信度和操作风险来分流：

• 高置信 + 低风险： 自动执行
• 高置信 + 高风险： 自动执行，但记日志用于审计追溯
• 低置信（不管风险高低）： 路由给人 review
• 任何置信度 + 不可逆操作： 必须人工审批才能执行

这个策略的核心逻辑是让人花在真正模糊或者高影响的决策上，而不是反复批准那些例行公事。同时也能避免审批疲劳——reviewer 看多了"批准"按钮真的会麻木。

3. 多步骤工作流的检查点

对于长流程 Agent（研究→起草→发送，或者计划→执行→验证），与其最后一起审批，不如在阶段之间设检查点。如果第 3 步跑偏了，在第 3 步截住，而不是等第 7 步已经炸了再补救。

实操层面就是：跑每个阶段，在指定检查点暂停等人 review，reviewer 拒绝就直接停掉整个流程，别偷偷往下跑。

4. 可中断的执行

Agent 应该支持中途暂停，不只是固定检查点才能停。对于长流程或者流式推理场景，human 看 Agent 的推理 trace 时应该能随时点"stop"介入，而不是只能卡在预设的关卡。

5. 审计日志和可解释性

每个 Agent 动作——不管是批准、拒绝还是自动执行——都得留档：提了什么、为什么（模型的 reasoning 或 tool call）、谁批的（如果有）、实际结果如何。这不光是合规用，是你以后 debug "Agent 悄悄做了两周蠢事"的唯一线索。

设计合适的自主级别

有个好用的思路是分层，跟自动驾驶分级类似：

• Tier 0，无自主： Agent 提建议，人手动执行
• Tier 1，审批后执行： Agent 准备好动作，人点批准
• Tier 2，执行加审计： Agent 对低风险任务自主执行，全量记录，人抽检
• Tier 3，全程自主但有 kill switch： Agent 在限定范围内独立运行，人可以随时干预或停掉，但默认不 review

这不是纸上谈兵。Gartner 最新的 CEO 调研显示，32% 预计会部署辅助人类决策的自学习 AI 工具（Tier 2），27% 预计会主要在无人干预下运行（Tier 3）。实际生产中，大多数 Agent 系统应该按动作类型混用各层级，而不是整个系统选一个 tier。

读数据、写总结这种，放 Tier 3。涉及钱、客户沟通、不可逆状态变更的，先放 Tier 0 或 Tier 1，等 Agent 跑稳了再慢慢升级。

团队常踩的坑

• 把 HITL 当成一次性门槛，而不是渐进的体系。写死"总是问"或"从来不问"的规则，随着 Agent 能力提升或业务变化会很快过时。
• 审批疲劳。让人批所有东西，他们就不看了，光点"同意"。人工注意力要留给真正有风险或模糊的情况。
• 没人审批时的 fallback 没定义清楚。审批请求超时了怎么办？一般默认"什么都不做"，但这条要明确写进设计里。
• 自动执行的动作跳过审计日志。没让人 review 的动作，恰恰是出问题后你最需要回溯的。

总结

AI Agent 的势头是真的猛，但热情和纪律之间的鸿沟也是真的大。WSI 的全球商业领袖调研显示，81% 认为 AI 能帮他们达成业务目标，但只有 27% 在公司层面有定期、实质性的 AI 战略讨论。

人在回路不是 Agent 的补丁，是让 LLM 真刀真枪干活还能安全上线的设计层。最有效的 Agent 系统，都是把自主决策和人工监督捏在一起，让 AI 跑得快的同时还靠得住、可追溯、可追责。

建议起步顺序：先把最高风险操作的审批门控搭起来，有了足够数据支撑模型自我评估后加上置信度路由，审计日志从第一天就建，别等出了事才后悔没留后路。