Skip to content

语音前台 ​

语音前台负责实时交流;后台 Agent 负责执行工作。二者可独立选择。

本页配置写入 qwenaudio config 显示的 config.env。桌面版也可在“语音前台”设置中选择服务并填写凭据。

选择服务 ​

服务Provider 值必填或首次使用配置使用说明
Qwen Audio / Omni 3.5 / Omni 3.8dashscope(默认)DASHSCOPE_API_KEY;Omni 3.8 还需将 QWEN_AUDIO_REALTIME_BASE_URL 设为业务空间专属地址Audio 语音 / Omni 视觉
StepAudio 3stepfunSTEPFUN_API_KEYStepFun
OpenAI Realtimegpt-liveOPENAI_API_KEYGPT-Live
Gemini Livegoogle-liveGOOGLE_API_KEYGoogle Live
豆包 Seeduplexdoubao-seeduplexDOUBAO_API_KEY模型、音色与服务地址配置见下表
Hugging Face speech-to-speechspeech-to-speech先启动服务;默认 ws://127.0.0.1:8765/v1/realtime本地模型链路
MiniCPM-o 4.5minicpm-o先启动服务;默认 ws://127.0.0.1:8006/v1/realtime?mode=audio音频 / 视频模式及限制

例如,使用默认前台:

dotenv
QWEN_AUDIO_REALTIME_PROVIDER=dashscope
DASHSCOPE_API_KEY=your-key
QWEN_AUDIO_REALTIME_MODEL=qwen-audio-3.0-realtime-plus

切换到 StepFun 时,改选服务并填写它自己的凭据:

dotenv
QWEN_AUDIO_REALTIME_PROVIDER=stepfun
STEPFUN_API_KEY=your-stepfun-key

各家的配置可以同时保留,切换只需改 QWEN_AUDIO_REALTIME_PROVIDER。Gateway 不会把另一家的 Key、模型或音色拿来使用。

模型、音色与地址 ​

Provider模型音色服务地址
DashScopeQWEN_AUDIO_REALTIME_MODELAudio:QWEN_AUDIO_REALTIME_VOICE;Omni:QWEN_OMNI_REALTIME_VOICEQWEN_AUDIO_REALTIME_BASE_URL
StepFunSTEPFUN_REALTIME_MODELSTEPFUN_REALTIME_VOICESTEPFUN_REALTIME_URL
GPT-LiveGPT_LIVE_REALTIME_MODELGPT_LIVE_REALTIME_VOICEGPT_LIVE_REALTIME_URL
Google LiveGOOGLE_LIVE_REALTIME_MODELGOOGLE_LIVE_REALTIME_VOICEGOOGLE_LIVE_REALTIME_URL
豆包 SeeduplexDOUBAO_SEEDUPLEX_REALTIME_MODELDOUBAO_SEEDUPLEX_REALTIME_VOICEDOUBAO_SEEDUPLEX_REALTIME_URL
speech-to-speech在上游服务设置在上游服务设置SPEECH_TO_SPEECH_REALTIME_URL
MiniCPM-o在上游服务设置在上游服务设置MINICPM_O_REALTIME_URL

地址和模型留空使用该 Provider 的默认值;Qwen3.8 Omni 例外,必须填写业务空间专属地址。自建服务如需 Bearer 认证,分别设置 SPEECH_TO_SPEECH_AUTH_TOKEN 或 MINICPM_O_AUTH_TOKEN。可用别名与协议细节见各服务页面。

DashScope 当前内置以下模型档案:

模型 ID实时输入
qwen-audio-3.0-realtime-plus(默认)文字、语音
qwen-audio-3.0-realtime-flash文字、语音
qwen3.5-omni-flash-realtime文字、语音、实时视觉帧
qwen3.5-omni-plus-realtime文字、语音、实时视觉帧
qwen3.8-omni-flash-realtime文字、语音、实时视觉帧

这些档案均支持工具调用。模型能否接收视觉帧,还取决于客户端和传输通道,见视觉输入。

应用并验证 ​

  1. 桌面版修改后点击“应用”。终端 Gateway 退出后重新启动;已安装的后台服务执行 qwenaudio gateway restart。
  2. 连接客户端,确认“语音前台”已连接。
  3. 说一句话,确认能听到回答。需要工具时,再测试搜索或一个简单后台请求。

CLI 可查看当前配置及支持的模型:

bash
qwenaudio config show
qwenaudio config set --realtime-model qwen-audio-3.0-realtime-flash

config set 修改当前 Provider 的模型,不切换 Provider,也不自动重启 Gateway。远程客户端沿用远端配置;不能通过本机配置切换远端模型。

服务差异 ​

  • MiniCPM-o 当前适配不支持文字输入、结构化工具调用、主动播报或会话上下文恢复;适合语音 / 视觉聊天,不用于后台编排。
  • speech-to-speech 的语言识别、音色、工具调用质量取决于你配置的 STT、LLM 与 TTS。
  • Google Live 当前不向重连后的上游会话恢复历史上下文;界面保留记录不等于模型已收到历史。
  • 其他服务的已支持能力和限制,以各自接入页面为准。

前台扩展工具另行配置:搜索、MCP、OpenAPI。

旧配置排查 ​

新配置只使用上面的供应商字段。QWEN_AUDIO_REALTIME_API_KEY 和 QWEN_AUDIO_REALTIME_ENDPOINT 不再作为进程环境覆盖项。旧文件读取时会转换;若提示迁移冲突,保留正确的供应商字段并移除旧字段。更多优先级规则见配置总览。