Marico's space
首页
我的日志
我的游记
世界·视野
编程技术
Marico's space
首页
我的日志
我的游记
世界·视野
编程技术
技术合作:
look@marico.cc
+86 18660050334
loading...
我们用103个真实创意任务对AI应用构建工具进行基准测试的发现
10-19 20:55
最近折腾 AI 应用构建工具,发现大多数评测基准都停留在"这道算法题能不能做出来"这个层面。说实话,这跟真实场景差距挺大的。 真实用户的需求往往是混乱的:截图、视频、PDF、半个写好的项目、互相矛盾的后续需求、或者用户已经拍板的设计方案全混在一起。AI 代理得自己判断是应该先讨论、规划、原型还是直接开干,然后还要保持之前决策的一致性、产出能跑的结果、做测试、用户改方向时还得能兜住。 Eazo
24小时的幂等性key会将崩溃变成丢弃的webhook,所以我们的从120秒开始
10-19 17:34
最近在处理 webhook 幂等性的问题,踩了一个很有意思的坑——24小时的 TTL(生存时间)看起来很安全,实际上会把程序崩溃变成永久丢失的事件。这篇把问题说清楚,也记录一下我们最终的选择。 Munchable 有两个 webhook 端点:一个是处理 Stripe 支付回调的,一个是处理入站邮件的。两个都是"至少一次"投递,都有可能产生不能重复执行的副作用,处理流程开头都一样: const
为什么你的LLM Prompt在生产环境失效(及修复方法)
10-19 14:49
最近系统学习了应用AI工程,踩了不少坑,这篇把核心问题说清楚。 之前以为Prompt就是往ChatGPT里敲个问题,测一次就完事。实际做项目才发现,这套在生产环境撑不过三天。下面是从第一章整理的笔记和图表,关于怎么让LLM(大语言模型)输出稳定可靠,最后还有一个我设计的实时核查系统。 TLDR:稳定Prompt的5条黄金法则 Temperature = 0 确实能让答案一致,但如果模型不知道
TrafficMirror:零风险生产流量镜像与自动化回归测试权威指南
10-19 11:28
最近在搞分布式系统的上线验证,踩了不少坑。这事说大不大说小不小——测试环境跑得好好的,一上生产就崩,数据库慢查询、内存泄漏、Schema不兼容,一个比一个恶心。传统那套 mock + staging + canary 的打法,越来越觉得是在自欺欺人。 所以花时间研究了 TrafficMirror 这个流量镜像方案,确实有点东西,这篇把核心原理说清楚。 1. 现代 QA 体系的结构性困境 先
你的Agent基准测试中的“用户”是第二个模型,且24.4%的成功运行破坏了用户自己的脚本
10-16 20:56
最近读了篇论文,发现一个挺反直觉的问题:Agent基准测试里的"用户"其实是个模型,而这个模型的失误能让成功率虚高到让你误判。这个坑值得单独写一篇。 在某个基准测试中,有个人口角色代理(User Proxy)开场第一句话就是"对了,我叫John Smith,电话是555-123-2002。"这个任务的本意是测试Agent在处理账户信息前是否会主动要求验证身份,但代理直接就把信息交出去了,完全没等
MockForge:利用下一代 API 模拟与合成状态机架构弹性微服务
10-16 17:34
搞微服务测试这几年,被 Mock 这个问题坑过太多次了。传统方案要么硬编码 JSON 响应,要么维护一套脆弱的 WireMock 配置,费时费力还容易出幺蛾子。最近折腾了 MockForge,一个 Rust 写的有状态 API 虚拟化引擎,体验下来确实有点东西,这篇把它的设计思路和实战用法说清楚。 分布式测试的瓶颈在哪 工程团队普遍面临"测试环境悖论":越是复杂的分布式系统,测试成本越高。问
ASP.NET Core Web API 性能优化:从 900ms 到 3ms(廉价托管)
10-16 14:50
最近折腾了个个人项目,踩了几个网络延迟的坑,这篇把问题说清楚。 我的 ASP.NET Core 9 应用部署在一台机器上,SQL Server 放在另一台共享托管的服务器上——完全不在同一个机房。每次查询都要跨过我控制不了的网络。 首页的冷启动读取耗时 200 到 1000 毫秒,问题不在 SQL 查询计划慢,而在物理距离。 现在热读取响应时间稳定在 2 到 3 毫秒。没有用 C++ 重写任
一条提示词引发全区智能体沦陷,审计日志也在波及范围内。
10-16 11:28
10月8号,多伦多SecTor安全大会,Zenity Labs的研究人员演示了一个让所有想把智能体搬上云的企业都应该认真审视的场景。 他们只向运行在亚马逊云科技(AWS)AgentCore平台上的一个公开AI智能体发送了一条聊天消息——这是AWS的企业智能体托管平台,索尼和爱立信都是它的命名客户。消息内容很简单:让智能体向一个内网地址发起请求。就这一条消息,研究人员接管了同一AWS账户和区域内所
生产环境 AI Agent 治理:权限、审计与人工审批
10-15 20:56
2026年10月13日,金融监管机构开始加强对自主AI Agent的审查。 一个让人不太舒服的教训其实很简单:一个拥有生产环境权限但没有可执行权限边界的Agent,不是"智能自动化"。 它只是一个拥有凭证的无边界身份。 为什么AI治理框架必须控制行为,而不仅仅是模型 传统的AI治理关心的是模型是否准确、公平、隐私合规。生产环境中的Agent则带来了更难的问题:这个系统此刻被允许做什么?
冻结失败的提示词:Agent重试前的 Wiki 交接
10-15 17:34
周一打开故障群,发现一个支付失败的工单上已经堆了三次重试。最初的提示词早就没了,取而代之的是午饭前同事随手敲的一行字。没人说得清第一次调用用了哪个工具 schema,也没人知道第二次调用有没有改过 system prompt。共享模型的调用记录里还挂着这笔费用,但 wiki 上根本找不到谁该为这串调用负责。 这个缺失的记录才是值得修的 bug,而且不用跟人争这周哪个模型更聪明。重试把失败的提示词
共 564 条, 共 57 页
第
1
2
3
...
57
页