Marico's space
聊 Agentic AI 的文章挺多了，但大多数停留在"怎么写 Prompt"的层面。这篇不一样——作者从软件工程的角度出发，讲的是怎么把 AI Agent 做进生产环境，特别是基于 Azure OpenAI 的实现路径。读下来挺实在，适合想在企业里真正落地这类系统的工程师。
Agentic AI，说白了就是让大模型不只回答问题，而是能真正代替用户去感知、推理、行动——调用 API、执行工作流、操作企业系统。在企业场景里，这玩意儿不是独立存在的，它得嵌入现有架构，对接 CRM、ERP，还得满足可靠性、安全性、可观测性等一系列硬性要求。所以作者一上来就强调：这是一道软件工程题，不是 Prompt 工程题。
Azure OpenAI Agent 在生产环境下，一般由这几层构成：
1. 体验层
聊天组件、Web 或移动端应用、IVR 语音系统，以及各种业务前端，负责接收用户输入、渲染 AI 回复。
2. 编排层 / Agent 运行时
通常实现为微服务，跑在 Azure Kubernetes Service、Azure Container Apps 或 App Service 上。
3. Azure OpenAI 服务
提供 GPT-4 系列模型的调用能力、对话 API、Function/Tool Calling，以及系统级安全配置。
4. 企业工具和数据
Agent 通过工具接入内部系统：REST API、数据库、搜索服务、工作流引擎。
5. 横切服务
治理、可观测、安全相关组件，包括 Azure Monitor、Application Insights、Log Analytics、API Management、Key Vault 和 Entra ID。
策略与角色定义
通过 System Prompt 和配置项，定义 Agent 的职责范围、可用工具和交互风格。
记忆与上下文
短期记忆是当前会话的对话历史和状态，长期记忆则来自知识库和日志。
工具接口
通过 Azure OpenAI 的 Function Calling 机制，将内部函数暴露给模型。
安全护栏
在每次模型调用前后，应用内容过滤器、黑名单/白名单，以及输入输出验证。
支持自动化 — 客户在门户里打开客服聊天，前端把消息发给 Agent API，同时附上用户画像数据。
决策支持 — 投资组合经理询问某产品对季度利润率的影响。
工作流自动化 — 内部用户发起变更请求，要更新某个微服务。
第一步：用户请求接收 — 用户输入发票问题，前端把文本、会话标识、用户 ID 发给后端 API。
第二步：上下文组装 — Agent 服务通过内部 API（以工具形式暴露）获取用户档案和近期发票。
第三步：推理与工具选择 — 模型通过 Function Calling 决定需要调用 get_invoice_details。
第四步：执行与校验 — Agent 调用 create_credit_memo，但高价值 Credit 需要人工审批。
第五步：回复生成与流式输出 — Agent 生成用户友好的解释文案，并开启流式输出。
明确用例 — 从 Agent 能带来可衡量价值的场景切入，不要一上来就搞大而全的设计。
设计 Agent 工作流 — 逐步拆解现有流程，识别哪些决策可以交给 Agent。
Prompt 与策略工程 — 编写精准的 System Message。
工具集成 — 用良好类型化的函数定义包装每个企业系统。
部署与运维 — 部署到 AKS 或 Azure Container Apps，设置合理的扩缩容策略。
可靠性 — 大规模下 API 失败、超时、限流是常态。用指数退避重试、熔断器、优雅降级来应对。
延迟 — 主要来源：网络开销、工具调用链路、Token 生成速度。应对思路：流式输出、压缩 Prompt、对独立工具调用做并行化。
成本控制 — 费用直接和 Token 总量挂钩。通过裁剪上下文、压缩历史记录、把低价值请求路由到低价模型来控制。
调试与可观测性 — 对 Prompt、工具调用、输出做详细日志记录，跨服务传递关联 ID。
可扩展性 — 无状态或外部状态化服务、异步处理、自动扩缩容策略。
治理与安全 — Entra ID 做身份认证、RBAC 管权限、私有网络、客户托管密钥。