智能座舱
智能座舱是 qwen-audio-agent 的可运行场景示例。用户可以通过自然语音控制车辆、 规划导航、播放音乐、查询天气、使用闪购和自定义技能，座舱界面会同步展示 车辆与任务状态。
演示
通过自然语音完成车控和导航，座舱 UI 同步更新；长时间任务在后台执行时，前台仍可继续交流。
核心特点
- 支持连续对话、自然打断、多轮上下文、音色和人设切换。
- 使用 MCP 统一扩展车控、导航、音乐、天气、闪购和自定义技能。
- 前台 Realtime 直接执行低延迟操作及自定义技能创建、加载和前台工作流步骤；后台 Agent 处理闪购和多来源新闻研究。
- 示例后台 Agent 通过 A2A 1.0 接入，也可替换为 ACP 或定制后台。
- 座舱 UI 使用场景 HTTP/SSE 通道展示车辆、路线、音乐和订单状态。
- 同一响应中的多个前台工具完成后统一语音收口；前台 MCP 调用默认超时为 10 秒，可配置。
- 屏幕修改路线偏好后静默同步对话上下文；UI 温度
−/+可触发用户保存的温度提醒， 仅从条件外进入条件内提醒一次，条件持续满足时不重复。 - 记忆沿用标准 Markdown 工具及 Prompt 策略。后台新闻报告真实搜索并读取来源，期间前台 继续聊天，返回完整文本 artifact 与简短摘要，明确日期和核验限制。
架构
前台既负责实时对话，也能直接调用工具；长时间任务及配置为后台执行的业务交给 座舱 Agent，期间前台仍可交流。Service 为前后台提供共享的场景状态、业务规则和工具执行环境。
| 组件 | 示例实现 | 主要接口 |
|---|---|---|
client/ | React 座舱 UI + Browser Audio | GCP 7.0 / Gateway Client SDK |
gateway/ | qwen-audio-agent Gateway + 前台 Realtime Agent | GCP / MCP / BackendPort |
agent/ | Qwen3.8-Flash 驱动的后台 Agent | A2A 1.0 / MCP |
service/ | 座舱状态、规则、工具和外部服务适配 | HTTP/SSE / MCP |
完整边界和数据流见 examples/smart-cockpit/docs/architecture.md。
工具调用
座舱 Service 在 6 个场景领域共提供 38 个 MCP 工具：
| 领域 | 数量 | 主要能力 |
|---|---|---|
vehicle | 11 | 位置、车况、空调、车窗、车灯和充电等。 |
navigation | 12 | 地点搜索、路线规划、途经点、常用地点和路线偏好等。 |
music | 10 | 搜索、播放、上下曲、音量、媒体源和收藏。 |
weather | 1 | 城市天气查询。 |
flashbuy | 1 | 闪购商品搜索与下单演示。 |
custom-skills | 3 | 列出、创建/更新、加载工作流或温度提醒规则。 |
默认情况下，车控、导航、音乐、天气及自定义技能共 37 个 Service 工具走前台，后台 Service 工具为 1 个闪购。Realtime 基础合计 44：7 个 Gateway 内置工具 + 37 个前台 MCP 工具，尚未计入前台搜索等按能力启用的条件工具。场景方可通过 service/tools/surface-routing.json 调整分流。
后台另外通过公共 qwen-audio-agent/web-retrieval 工厂使用 web_search、fetch_url 两个框架检索工具；它们不计入 38 个场景工具，沿用现有 Provider 配置与安全网页读取防护。 参见联网搜索：默认免 Key 搜索是实验性兜底，不保证实录时能获取最新新闻。
运行示例
cp examples/smart-cockpit/.env.example examples/smart-cockpit/.env.local
# 在 .env.local 中填写 DASHSCOPE_API_KEY；地图 Key 可选
npm run example:smart-cockpit:install
npm run example:smart-cockpit打开 http://localhost:5173。一条命令会同时启动 service、agent、gateway 和 client。
Benchmark
准确性评测覆盖车控、导航、音乐和天气；闪购、自定义技能和后台长时间任务不计入这两套题。
- **短用例：**86 个 case、共 111 轮，预期调用覆盖 34 种工具，按整例统计通过率。
- **长对话：**独立设计的 10 组 50 轮对话，预期调用覆盖其中 22 种工具；250 个需工具 轮次与 250 个无工具轮次，结果页按轮统计工具行为。
- **评测路径：**文本模型、受控 Realtime 与完整 Harness。Harness 使用生产前台装配， Prompt、工具返回与执行防护并不与受控直连完全相同。
- **工具放置时延：**同一套工具前台直调或后台委托，两侧都经过 Realtime 前台； “测试轮数（需工具）”不是任务完成步骤数，也不是有效计时样本数。
成绩统一维护在准确性结果页， 时延沿用原始记录。 统计口径、数据来源、限制及复现命令见 Benchmark 说明。
替换和扩展
| 需求 | 修改位置 |
|---|---|
| 替换座舱 UI 或音频 I/O | client/ |
| 替换后台 Agent | 修改 COCKPIT_AGENT_CARD_URL，或替换 agent/ |
| 增加场景工具、状态或外部服务 | service/ 与 service/tools/ |
| 调整前台人设或后台任务语义 | gateway/ |
参考组件替换指南 了解完整迁移方法。
作者与致谢
- Zhang Binbin：负责座舱领域能力的设计与扩展，包括导航、车控、 音乐工具体系、前后台工具分流与评测用例。
- Li Xu：负责基于 qwen-audio-agent 的场景架构与整体实现，包括客户端、 Gateway、后台 Agent 的边界，实时语音链路以及 A2A/MCP 接入。
- Peng Zhendong：提供原始座舱 UI 与视觉资源，包括整体界面设计、 交互形态和相关视觉素材。