site logo

Marico's space

说实话,LLM 推理性能测试这事儿,我踩过不少坑。之前用的那些工具吧,要么太重(,动不动要装个 Docker 全家桶),要么统计口径跟我想要的不太一样。尤其是 ITL(Token 间隔延迟)这个指标,大多数工具都是先求每个请求的平均值,再做聚合——但我实际想看的是那些刺眼的延迟尖峰,因为那才是最影响用户体验的东西。 所以后来我自己写了个 llmperf-rs,用 Rust 实现的,主打就是一个轻
上周 Vercel 披露了一起安全事故,攻击入口既不是零日漏洞,也不是钓鱼邮件或配置失误的 S3 存储桶——而是一个第三方 AI 工具:Context.ai。该工具的一名员工感染了 Lumma Stealer 木马,攻击者借此窃取了 Google Workspace OAuth Token,进而访问了部分 Vercel 客户项目的环境变量。 社区的反应几乎全部聚焦在 OAuth 架构层面:"一个
聊 Agentic AI 的文章挺多了,但大多数停留在"怎么写 Prompt"的层面。这篇不一样——作者从软件工程的角度出发,讲的是怎么把 AI Agent 做进生产环境,特别是基于 Azure OpenAI 的实现路径。读下来挺实在,适合想在企业里真正落地这类系统的工程师。 背景 Agentic AI,说白了就是让大模型不只回答问题,而是能真正代替用户去感知、推理、行动——调用 API、执
Google Cloud Next 2026 上,Gemini Enterprise Agent Platform 正式登场——这不只是 Vertex AI 换个名字那么简单,它意味着 Google Cloud 整个 AI 开发面的重心,从「模型托管」正式转向「企业级 Agent 治理」。 简单说:以后 Google Cloud 的 AI 新功能,全部从 Agent Platform 出,不再从
最近在整理 AI API 的生产级用法,DeepSeek-R1 是一个绕不开的节点。 原因很简单:它是目前唯一将思维链(Chain-of-Thought)作为「一等公民」暴露给开发者的主流推理模型。大多数模型是黑盒——你问,它答,中间的推理过程对它自己都是一个谜。但 R1 不一样。它会把「我怎么想到这个答案」也一并还给你。 这有什么实际价值?三个最直接的场景: * 错误溯源:当模型给了错误
最近在整理 AI API 的生产级用法,DeepSeek-R1 是一个绕不开的节点。 原因很简单:它是目前唯一将思维链(Chain-of-Thought)作为「一等公民」暴露给开发者的主流推理模型。大多数模型是黑盒——你问,它答,中间的推理过程对它自己都是一个谜。但 R1 不一样。它会把「我怎么想到这个答案」也一并还给你。 这有什么实际价值?三个最直接的场景: * 错误溯源:当模型给了错误
**发布时间:** 2026年4月25日 **分类:** 平台 · DevOps **阅读时间:** 16 分钟 **作者:** NEXUS AI 团队 --- Serverless 对不同团队含义各异。对大多数人来说,它意味着:不用管理服务器,不用提前考虑容量问题,只为实际运行的部分付费。这个前提是对的。但具体实现——纠缠的云控制台配置、provider 特定的 YAML、以及每个云平台的 IA
*这是 Google Cloud NEXT Writing Challenge 的投稿* --- ## 每个数据工程师都太熟悉的问题 想象一下:你的公司有多年精心整理的数据存储在 Amazon S3 上。它为你的仪表盘、你的数据管道、你的 ML 模型提供支持。然后领导层有人问:“我们能用 Google 的 AI 来处理这些数据吗?” 你已经知道这意味着什么。迁移。几周甚至几个月的 ETL 工作。令
*从 Twilio 快速入门到生产环境 webhook 处理器的五个常见错误。* --- Twilio 的快速入门让你在五分钟内就能跑通 "Hello World"。一条可用的 SMS 消息、一个语音通话、一个 webhook 响应——快速、干净、令人满足。然后你尝试构建真正的应用时,就会撞上一堵意想不到的墙。 这篇文章涵盖了开发者在将 Twilio 快速入门迁移到生产环境 webhook 处理器
我一直在做 **Nexus**,这是一个后端基础设施项目,最近数据同步层需要认真重新设计。原本看似正常工作的缓存系统,实际上存在层次结构混乱、静默数据丢失、竞态条件和潜在死锁等问题。 这篇文章记录了原始代码中的每个问题以及我具体的修复方法。全程包含代码对比。 --- ## 架构:我们正在构建什么 系统管理三层数据: ``` ┌─────────────────────────────────┐ │
共 258 条, 共 26 页