Marico's space

市面上的 AI 转录工具多如牛毛，但大多数只告诉你「能用」，不告诉你「为什么能用」。本文来补上这个缺口。

TL;DR

• 95–99% — 干净音频上的识别准确率
• 68万小时 — Whisper 的训练数据量
• <3秒 — 处理一分钟音频所需时间
• 99+种语言 — Whisper 原生支持


按一下「转录」，背后发生了什么？

上传音频文件或粘贴一个 YouTube 链接，转录平台触发一套多阶段处理流水线。表面看「音频进、文字出」，实际上有多层神经网络按顺序工作。

第一步：音频预处理

原始音频首先被清理。背景噪声被降低，音量被归一化，然后波形被转换成一种叫梅尔频谱图（Mel-spectrogram）的可视化形式——本质上是一张随时间变化的声频热力图。这给神经网络提供了结构化的分析对象，而不是原始音频字节。

第二步：特征提取

频谱图被切割成大量重叠的短帧（通常每帧25ms，步移10ms）。每一帧被转换为一个紧凑的数值指纹——MFCCs（梅尔频率倒谱系数），捕捉那个时刻声音的核心特征。

第三步：声学建模

一个深度神经网络（通常是 Transformer 或 Conformer 架构）处理这些特征，预测当前存在哪些音素（phonemes）。这是核心识别步骤。模型从数十万小时的标注语音中学会了不同声音在频谱图上长什么样。

第四步：语言模型与解码

预测出的音素序列与语言模型进行匹配。如果声学模型听到了模棱两可的声音（比如「their / there / they're」），语言模型会结合上下文选出最合适的那个。Beam Search 算法则负责找到整体概率最高的词序列。

第五步：后处理

原始转录文本经过格式化：添加标点、数字写成数字形式（「twenty-three」→「23」）、说话人标签对齐、时间戳同步。最终得到仪表盘上清晰可读的文本。

端到端模型简化了这个流程
像 Whisper 这样的现代架构将步骤 2–4 打包进一个单一的端到端神经网络中。一个 Transformer 处理一切——音频特征进去，完整文本出来，减少了阶段间的错误传播，通常能提供更好的准确率。

三种主流架构对比

架构	代表模型	核心特点	适用场景
Transformer	Whisper（OpenAI）	开源、多语言（99+）、抗噪	通用场景，开发者首选
Conformer	Google 云端 / NVIDIA NeMo	卷积+注意力结合，兼顾细节和上下文	企业级、高精度需求
RNN-Transducer	Google / Meta / Apple 设备端	流式输出，毫秒级延迟	实时字幕、语音助手

准确率数据（2026年）

• 干净录音室音频：95–99%（WER 约 1–5%）
• 会议录音：90–95%（多人说话、麦克风距离不一拉低准确率）
• 电话通话：85–92%（压缩编码器和背景噪声是主要挑战）
• 重口音 / 非母语：85–92%（Whisper 这类多样化数据训练的模型处理更好）
• 嘈杂环境：80–90%（建筑工地、咖啡馆——AI 比人更吃力）

音频质量比模型选择更重要
一个 30–50 美元的普通 USB 麦克风，在安静房间里录出来的效果，比最贵的 API 处理在地铁里录的电话通话效果更好。如果准确率是首要目标，首先投资录音环境。

AI 语音识别的当前短板

• 重叠语音：两人同时说话，大多数模型只能捕捉到一个
• 语码切换：中英文混说对单语数据训练的模型挑战很大
• 生僻专有名词：人名，公司名如果训练数据里没有，通常被转写成相近的常见词
• 低声 / 含混语音：信号能量低，频谱图模式不清晰，导致漏字或错字
• 极端噪声：演唱会、建筑工地，噪声干扰严重，准确率可能掉到 80% 以下

小结

AI 转录的本质是：音频 → 特征提取 → 神经网络识别 → 语言模型纠错 → 格式化输出。主流模型在干净音频上已接近人类水平，但在重叠语音、语码切换等场景仍有明显差距。选择转录工具时，优先看录音质量，其次看模型对语言和口音的覆盖能力。

---

原文：How Does AI Transcription Work? [Technical Guide] on dev.to
译/整理自 dev.to 社区，仅供学习参考。