视觉输入

视觉输入有两种用途：把文件交给后台处理，或让语音模型结合当前画面交流。它们不是同一条输入通道。

方式	适用场景	内容交给谁
聊天图片 / 文件附件	分析文件、编辑图片、生成交付物	需要时交给后台 Agent
实时摄像头画面	询问眼前物体、结合画面聊天	支持视觉输入的语音前台
X-Omni 按需采集与观察	看屏幕、读图片、观察画面变化	示例提供的视觉工具与 Omni 服务

WebUI 摄像头

1. 选择支持视觉帧的语音前台：Qwen Omni、Google Live，或使用 mode=video 的 MiniCPM-o。
2. 启动 Gateway，打开 WebUI。顶部保留“开启麦克风”；支持视频输入时，另有“开启视频”按钮。
3. 点击“开启视频”并允许摄像头权限，小窗会自动显示并发送实时画面。需要语音提问时，另行开启麦克风。
4. 点击“关闭视频”或关闭小窗，会停止采集和发送、清除待发送帧并释放摄像头，不改变麦克风状态。小窗内的摄像头图标也可独立关闭或重新开启图像输入。

控件是否可用由 Gateway 协商的能力决定。Audio-only 模型不会因为打开摄像头而获得视觉能力。远程浏览器需要可信 HTTPS；本机可使用 localhost 或 127.0.0.1。

麦克风和视频独立控制，静音不关闭视频，相机权限被拒绝时仍可语音对话。客户端通过统一环境事件上报视觉输入状态，Gateway 向支持上下文注入的模型同步，不主动触发播报；已看过的画面保留为历史，不再代表当前环境。重连后会重新上报当前状态。

实时画面以限频 JPEG 帧发送，不是视频文件上传。帧本身不创建一条用户消息，也不自动触发回复；请配合语音提问。画面不会自动存入聊天附件、历史或资料库。

客户端限制

• 标准 WebUI 提供实时摄像头输入。桌面悬浮球、桌面对话面板与 TUI 当前不采集实时画面。
• 移动端复用 WebUI，但摄像头能否使用还受系统权限与 WebView 能力影响。
• MiniCPM-o 的视频模式可以视听交流，但画面随音频批次发送，静音时不会单独投递；当前适配没有工具调用、文字输入和上下文状态注入，不能用它执行后台工作。

按需看屏幕或观察变化

这些能力在独立的 X-Omni 示例中体验，不是标准桌面版的内置功能：

• 选择摄像头、屏幕或图片作为来源。
• 按需采集：平时只预览，工具请求时才采样。
• 持续画面：在对话中持续提供视觉上下文。
• 主动开启短时观察，例如“关注这个进度条，完成后提醒我”。

观察会产生额外模型请求，停止规则和兼容范围见示例说明。

隐私

采集前关闭包含密码、密钥或私密消息的窗口。云端视觉服务会接收你发送的画面；选择本地模型也需确认其部署和日志设置。关闭画面来源后，再切回普通语音对话。