7月15日,阿里巴巴正式发布实时语音交互对话模型Qwen-Audio-3.0-Realtime。作为阿里在人工智能语音领域的最新力作,该模型在智商、Agent工具调用、共情对话和双工交互流畅度四条主线上同步实现系统性升级,标志着实时语音交互技术从“能听会说”向“听懂会说、想你所想”迈出了关键一步。

四条主线协同升级,构建“聪明”的语音AI

与以往单纯追求语音识别准确率或合成自然度的模型不同,Qwen-Audio-3.0-Realtime首次将“智商水平”作为核心指标之一。通过引入更强大的语义理解架构,模型能够处理多层含义交织的复杂指令,在逻辑推理、多轮对话纠错、知识问答等维度展现出接近人类助手的认知能力。例如,用户在对话中临时切换话题、提出带有隐含条件的请求,模型也能快速跟上并给出准确回应。

在Agent工具调用层面,新模型不仅支持语音指令直接触发APP内操作——如查询天气、设置闹钟、播放音乐,更实现了跨应用协同调用。用户可以说“帮我订一张明天去北京的机票,并提醒我出发前两小时叫车”,模型会自主完成机票查询、日历提醒、出行服务衔接等一系列操作,无需用户逐一步骤下达指令。

共情对话能力是本次升级的亮点之一。Qwen-Audio-3.0-Realtime引入情感感知与表达模块,能够通过语音语调、语速、词汇选择等线索识别用户情绪状态,并以匹配的情感语调进行回复。无论是用户表现出沮丧、焦虑,还是兴奋、喜悦,模型都能给出具有温度感的回应,而非机械化的标准答案。这一功能在情感陪伴、心理疏导等场景中尤为关键。

双工交互流畅度则解决了以往语音交互“一问一答”的僵化模式。新模型支持“边说边听”的全双工通信——用户可在模型尚未说完时插话、纠正或补充信息,模型会实时中断当前回应并适应新的输入。这种更接近人类对话的自然节奏,极大提升了交互效率和用户体验。

双版本并进:Plus专注深度推理,Flash主打极速响应

为满足不同场景的差异化需求,Qwen-Audio-3.0-Realtime提供Plus和Flash两个版本。其中,Plus版本在参数规模、上下文理解和复杂推理方面进行了强化,适用于需要深度分析、多轮博弈或高准确率决策的场景,如智能客服中的投诉处理、教育培训中的一对一答疑等。Flash版本则在响应速度上追求极致,端到端延迟低于200毫秒,特别适合对实时性要求极高的娱乐互动、语音控制等场景。

阿里巴巴技术团队表示,两个版本共享同一套核心架构,开发者可根据业务负载和成本需求灵活选择或混用,实现算力资源的最优配置。

应用场景广泛落地,赋能千行百业

Qwen-Audio-3.0-Realtime的发布,为多个垂直领域带来了新的可能性。在智能客服领域,模型可以在用户开口的瞬间判断其意图、情绪和紧急程度,主动给出分级响应方案,同时无缝调用后台知识库、工单系统等工具,大幅提升问题解决效率。在教育培训领域,模型可以作为“AI私教”,通过语音互动进行个性化辅导,既能讲解知识点,又能根据学生的语速、停顿等细微信号判断其掌握程度,动态调整教学节奏。

娱乐互动与情感陪伴则是此次升级着重开拓的新方向。在智能音箱、车载助手、虚拟角色等场景中,模型可以通过富有情感的语音和即时应变能力,让用户感受到与真人对话一般的陪伴感。特别是针对老年、儿童用户群体,模型能够自动适配更缓慢、更清晰的语速和更简单的词汇,降低了数字鸿沟。

行业观察:语音AI竞争进入“情感智能”快车道

业内分析人士指出,此前语音交互模型多聚焦于识别准确率和命令执行率等技术指标,而Qwen-Audio-3.0-Realtime将“共情”“双工流畅度”等人类社交特征纳入核心评价体系,反映出AI行业从“功能满足”向“体验满足”的战略转型。阿里巴巴作为国内最早布局语音AI的科技公司之一,此次发布进一步巩固了其在多模态大模型领域的领先地位。

目前,Qwen-Audio-3.0-Realtime已通过阿里云语音AI平台对外开放模型接口,开发者可快速集成并定制专属语音助手。未来,阿里巴巴还计划推出面向开发者端的多语言版本和轻量化边缘部署版本,推动实时语音交互技术走进更多用户的日常生活。