AI软件工程师（实时语音交互）

Job Description

汇报给：Global Product Director

About the team:

我们正在构建面向真实电话场景的生产级语音 AI 平台，每天承载大规模真实对话。

语音交互引擎是整个平台的实时控制核心：它将 ASR、LLM、TTS 与电话音频链路编排成一个低延迟、可打断、可恢复的系统，决定机器人什么时候继续听、什么时候开始说，以及用户打断后如何立即停止并自然地恢复对话。

这里要解决的不是 demo 环境中的理想问题，而是真实电话信道下的工程挑战：8kHz 窄带音频、编解码损伤、网络抖动、背景噪声、回声、模型不确定性，以及由任何一个环节造成的 tail latency。

What you will do:

你的工作职责：

设计和演进实时语音交互引擎的核心架构，包括双向音频流编排、并发与背压、取消传播、会话状态管理、故障恢复和降级策略。

攻坚 turn-taking 与 endpointing：区分用户真正结束发言、短暂停顿和犹豫，在响应速度、误抢话率和长时间沉默之间建立可量化的权衡。

设计完整的 barge-in 生命周期，包括用户语音检测、打断决策、TTS 取消与缓冲区清理、实际播放位置对齐，以及对话上下文恢复，确保未被用户听到的内容不会错误写入会话状态。

建立并治理端到端延迟预算，包括 ASR partial/final、LLM TTFT、TTS time-to-first-audio、endpoint-to-first-audio 和 interruption-to-playback-stop 等指标，持续优化 p95/p99 tail latency。

提升电话场景下的鲁棒性，处理窄带音频、编解码损伤、线路噪声、丢包、抖动和回声，并与 ASR、LLM 层协同设计带噪转写、识别修订和模型超时情况下的容错策略。

建设交互质量评测体系，包括离线仿真、真实会话回放、标注集、对抗测试、线上灰度和自动化回归，让“自然度”转化为可测量、可解释、可守护的工程指标。

设计确定性控制逻辑与概率性模型行为之间的边界，使对话系统既保留 LLM 的灵活性，又具备可预测、可调试和可回归的运行行为。

根据级别参与或主导跨 ASR、TTS、LLM、电话平台和业务团队的技术决策、接口定义和长期架构演进。

为什么加入我们

真实规模与完整闭环：你的优化会直接作用于每天大规模的真实通话，并通过用户行为和业务结果得到验证。

完整的技术 ownership：这里不是单独优化某一个模型，而是对用户实际感知到的整段语音交互负责。

问题仍然开放：电话信道下的实时 LLM 对话尚未形成成熟的行业标准，你会直接参与定义系统架构、评测方法和工程实践。

Requirements

What we are looking for:

我们希望你具备

扎实的实时系统工程能力，熟悉流式处理、并发、异步 I/O、背压、取消、状态一致性和低延迟服务设计，并有生产环境下治理 tail latency 的经验。

在以下至少一个方向有深入的生产实践：

ASR / TTS / VAD、实时音视频、SIP / WebRTC / FreeSWITCH、流式模型服务或低延迟分布式系统。

有真实的 LLM 应用或模型集成经验，理解流式生成、上下文与会话状态管理、模型行为评测、超时与失败降级；prompt 设计只是其中的一部分。

了解 speech-to-speech 端到端模型的基本架构、能力边界和评测方法，能够判断其与 ASR–LLM–TTS 级联系统在不同场景下的工程权衡。

能够从指标和数据出发解决问题：先建立基线与可观测性，再进行实验、优化和回归验证。

熟练掌握 Go / Python，并能够使用 Rust 或 C++ 中至少一种语言进行生产级系统开发。

能够独立分析跨模块问题，而不是将延迟、识别错误或对话异常简单归因于某一个模型或服务。

加分项

做过全双工语音交互或实时通信产品，例如智能客服、外呼、会议系统或语音助手。

有 speech-to-speech 端到端模型的评估、集成或生产落地经验。

熟悉音频信号处理基础，包括 VAD、回声消除、降噪、声学特征或电话编解码。

跟踪或参与过 turn-taking、duplex conversation、spoken dialogue system 等方向的研究或工程实践。

有大规模在线系统的灰度发布、容量治理、故障演练或线上事故处置经验。

About AI Rudder

AI Rudder is an AI product company transforming how business communicate to their customers.

We launched in 2019 with one of the world’s first enterprise-grade AI voice agents: built to hold real, intelligent conversations, not just play back scripts. Today, we serve over 500 enterprises across 20+ countries, processing 50 million calls every day and having delivered more than 8 billion calls to date. Our customers range from fast-growing startups to large enterprises.

When AI talks to people, it has to feel human. That’s what we build.

How We Work

AI-first: AI isn’t a tool we reach for. It’s the default we start from. Every team, every workflow: AI-first.

Global Collaboration: We operate globally and work as one team. Distance is a logistics problem, not a cultural one. We build the habits that make distributed teams actually work

Communication Principle: Simple, Trust, Transparent. We remove unnecessary complexity so people can focus on what matters most.

What We Offer

• Learning & Development: Continuous learning through real projects, knowledge sharing session, mentorship, and cross-functional collaboration.
• Performance Recognition: Regular performance reviews, feedback, and opportunities for career progression.
• Global Exposure: Collaborate with international teams, global rotations, and work with global enterprise customers.
• Meaningful Impact: Build AI solutions that create real value for businesses around the world.
• Ownership & Autonomy: Freedom to take initiative and drive outcomes.
• Team Engagement: Team Building, Local & Global Gatherings & Local Events Celebration

AI Rudder is an Equal Opportunity Employer. We celebrate diversity and are committed to creating an inclusive environment for all employees and applicants.