自研大模型应用分析师

Job Description

主要职责

1. 模型能力诊断与训练需求挖掘

• 建立并持续维护模型能力评估矩阵（Capability Matrix），覆盖多轮对话核心维度：指令遵循、上下文一致性、Function Call 参数化与触发、知识检索与引用、语言切换、角色稳定性、安全合规等。
• 基于线上 badcase、离线 benchmark、A/B 评测与业务反馈，开展系统性归因分析（Root Cause Analysis），区分模型能力缺陷、数据分布缺口、Prompt/工具链设计问题及场景定义偏差。
• 将诊断结论沉淀为结构化训练需求（Training Demand Spec）：明确问题定义、影响范围、严重等级、预期收益及优先级，纳入版本级需求 backlog。

2. 训练需求假设构建与实验验证

• 对每一条潜在训练需求，构建可检验假设（Hypothesis）：明确「若补充某类数据 / 能力，模型在何种场景、何种指标上应产生可观测改善」。
• 独立设计并执行需求真实性验证实验，在投入大规模标注与训练资源前完成可行性闸门（Feasibility Gate），典型手段包括：
• Prompt / 上下文消融实验：验证问题是否可通过工程侧调整缓解，而非必须训练解决；
• Few-shot / In-context 探测：用小样本快速验证模型是否具备潜在能力、仅缺数据激活；
• 对比评测（Side-by-side / A-B）：量化当前版本与对照策略的差异，确认改进空间；
• 反事实样本构造（Counterfactual Probing）：检验模型在关键变量变化下的行为稳定性。
• 输出标准化实验报告：含实验设计、对照组设置、变量控制、结论判定（Train / Prompt-fix / Reject）及后续行动建议，为算法与标注团队提供决策依据。
• 对高优先级需求组织小规模 PoC 验证（Proof of Concept），跟踪实验结论与线上放量结果的一致性，持续校准需求判断准确率。

3. Feature 发现与数据需求规格化

• 从业务场景、人机交互形态及竞品能力中，识别并定义自研模型智能交互新 Feature，输出 Feature Spec（能力边界、触发条件、交互范式、失败模式）。
• 将通过实验验证的训练需求，翻译为可交付的数据需求文档（Data Requirement Document）
• 参与 Roadmap 规划与版本对齐，确保 Feature 定义、benchmark 建设、训练集交付与模型发版节奏一致。

Requirements

任职要求

必备

• 本科及以上学历，CET-6 及以上；语言学、心理学、人机交互、计算机、数据科学等相关专业或同等经验。
• 2 年以上 NLP / 大模型 / 对话系统相关经验；有多轮对话、Function Call、RAG 或业务机器人落地经验者优先。
• 具备假设驱动的问题分析能力：能从 badcase 中抽象可验证假设，设计对照实验并给出 Train / Prompt-fix / Reject 的明确结论。
• 能独立撰写实验验证报告、训练需求规格书（Training Demand Spec）、数据需求文档（DRD），逻辑严谨、结论可复现。
• 责任心强，抗压能力强，适应创业公司标准迭代快、跨团队沟通多的节奏。

About AI Rudder

AI Rudder is an AI product company transforming how business communicate to their customers.

We launched in 2019 with one of the world’s first enterprise-grade AI voice agents: built to hold real, intelligent conversations, not just play back scripts. Today, we serve over 500 enterprises across 20+ countries, processing 50 million calls every day and having delivered more than 8 billion calls to date. Our customers range from fast-growing startups to large enterprises.

When AI talks to people, it has to feel human. That’s what we build.

How We Work

AI-first: AI isn’t a tool we reach for. It’s the default we start from. Every team, every workflow: AI-first.

Global Collaboration: We operate globally and work as one team. Distance is a logistics problem, not a cultural one. We build the habits that make distributed teams actually work

Communication Principle: Simple, Trust, Transparent. We remove unnecessary complexity so people can focus on what matters most.

What We Offer

• Learning & Development: Continuous learning through real projects, knowledge sharing session, mentorship, and cross-functional collaboration.
• Performance Recognition: Regular performance reviews, feedback, and opportunities for career progression.
• Global Exposure: Collaborate with international teams, global rotations, and work with global enterprise customers.
• Meaningful Impact: Build AI solutions that create real value for businesses around the world.
• Ownership & Autonomy: Freedom to take initiative and drive outcomes.
• Team Engagement: Team Building, Local & Global Gatherings & Local Events Celebration

AI Rudder is an Equal Opportunity Employer. We celebrate diversity and are committed to creating an inclusive environment for all employees and applicants.