Marico's space
人人都能搭一个 AI Agent。
但能让它在生产环境里稳定跑起来的，凤毛麟角。
这是我在 2026 年最大的感悟。
折腾了几个月，把 AI Agent 部署上线、监控、优化，给真实用户用上之后，我发现一个让人意外的事实：
最难的问题跟 LLM（大语言模型）几乎没关系。
模型只是庞大分布式系统里的一个组件。
生产级 AI 工程不再是拼提示词，而是拼软件架构。
原型阶段看起来都很漂亮：
用户 → LLM → 答案
但生产环境完全是另一回事：
用户 ↓
认证 ↓
记忆 ↓
规划器 ↓
工具选择 ↓
知识检索 ↓
向量数据库 ↓
多个 API（应用程序接口） ↓
LLM ↓
安全护栏 ↓
验证 ↓
可观测性 ↓
响应
大部分故障不发生在模型内部。
而是发生在各个组件之间。
年初我以为，优化模型就能优化产品。
我错了。
工程投入的大头全在：
LLM 最后变成了众多依赖之一。
架构选型远比提示词重要。
真正强的 AI Agent 不是回答问题，而是干活。
也就是说，要跟这些系统打交道：
一个能稳定执行业务流程的 Agent，比只会生成漂亮文字的 Agent，价值高出一个量级。
工程挑战从写提示词，变成了编排可靠的工具执行。
一个参数量小但上下文质量高的模型，经常打败参数更大但上下文差的模型。
高质量上下文包括：
检索质量比多加 100 亿参数管用得多。
把工作拆分给专业 Agent，听起来很优雅。
实际上会引入：
加 Agent 有点像加微服务——更灵活了，也更复杂了。
如果每个 Agent 的职责边界不清晰，多个 Agent 反而会让系统更难运维。
传统软件有测试。
AI 系统需要持续评估。
每次上线都要回答：
没有自动化评估，每次发布都是在拿用户做实验。
Agent 出问题时，开发需要知道：
没有端到端链路追踪，生产环境调试就变成了玄学。
可观测性是把 AI 系统从黑盒变成可维护软件的关键。
原型阶段，Token 费用感觉可以忽略。
到了生产规模，根本没法忽视。
成熟的团队通过这些方式优化：
最便宜的 Token，是根本不发送的那个。
用户根本感知不到模型聪明了 5%。
但立刻会注意到：
可靠性建立信任。
信任驱动采纳。
稳定输出往往比峰值智能更值钱。
一旦 Agent 依赖：
……它的行为就跟任何分布式系统一样。
工程基础能力照旧适用：
AI 没有取代软件工程。
反而提高了对它的要求。
最大的思维转变不是学了什么新模型。
而是意识到传统软件工程技能现在更值钱了：
架构设计。
分布式系统。
API 设计。
系统可靠性。
安全。
测试。
可观测性。
性能优化。
这些领域现在是成功 AI 产品的地基。
真正把 AI 系统跑稳的公司，靠的不是找到了更好的 prompt。
是因为他们构建了更好的软件。
2024 年大家都在问：
"我们该用哪个 LLM？"
2025 年变成了：
"怎么把 AI 集成进应用？"
到了 2026 年，问题又变了：
"怎么让 AI 系统在生产环境稳定运行？"
这是软件工程问题。
好消息也是这个。
因为未来不属于只会调教 LLM 的人。
属于那些能设计、构建、监控、保护、持续改进生产级智能系统的工程师。
AI 工程时代，正式开始了。
你在部署 AI Agent 到生产的过程中，踩过最大的坑是什么？
欢迎留言聊聊。