从零搭建 500ms 以内延迟的语音 Agent，一个人一天就够了

最近 Hacker News 上一篇文章引起了我的注意——一个开发者用一天时间、大约 100 美元 API 费用，从零搭建了一个端到端延迟低于 500ms 的语音 Agent，而且性能比商业平台 Vapi 快了 2 倍。

这不是一个玩具 demo，而是一个可以投入生产的语音交互系统。

语音 Agent 为什么难

和文本聊天不同，语音对话没有明确的"发送"按钮。人说话会停顿、会犹豫、会中途打断，系统必须实时判断：用户说完了吗？

这就是所谓的 turn-taking 问题，也是语音 Agent 最核心的难点。

整个流水线包含三个环节：

1. STT（语音转文字）：把用户的语音实时转写
2. LLM（大模型推理）：理解意图并生成回复
3. TTS（文字转语音）：把回复转成自然的语音播放

每个环节都有延迟，叠加起来很容易超过 1 秒。而人类对话中，正常的响应间隔只有 200-300ms。

关键优化：流式串联 + 地理位置

核心思路是 流式处理（streaming）。每个环节产出一小段就立即传给下一环节。

• STT 用 Deepgram：支持实时流式转写，延迟极低
• LLM 用 Claude/GPT 的 streaming API：token 级别的流式输出
• TTS 用 ElevenLabs 或 Cartesia：支持流式合成

三者并行流动，端到端延迟从秒级压缩到了 400ms 左右。

另一个容易被忽视的因素是 地理位置。API 服务的服务器分布在不同区域，把部署位置和 API 服务器放在同一区域，延迟立刻下降。

开源方案 vs 商业平台

自己搭建的好处：

• 延迟可控：可以针对场景精细调优
• 模型可换：STT、LLM、TTS 各环节独立选型
• 成本透明：清楚每个 API 调用花了多少钱

代价：要处理中断检测、静音判断、错误恢复、并发管理等工程问题。

语音 Agent 的下一步

语音交互正在从"语音助手"进化到"语音 Agent"。区别在于：助手只回答问题，Agent 能执行任务。

这需要的不只是低延迟，还有可靠的 function calling、上下文管理和错误处理。目前的语音 Agent 还在解决"听清楚、说流利"的问题，但"做对事"才是更大的挑战。

写在最后

语音 Agent 的技术栈正在快速成熟。一个人、一天、100 美元就能搭出接近商业水准的系统，这在一年前还不可想象。

对于想入局语音 AI 的开发者，现在是一个很好的时机：基础组件已经足够好，差异化竞争的空间还很大。