Voice wake and push-to-talk modes plus routing details in the mac app

Read when…
  • Working on voice wake or PTT pathways

语音唤醒与按住说话

模式

  • 唤醒词模式(默认):始终开启的语音识别器等待触发令牌 (swabbleTriggerWords)。匹配后开始捕获,显示带有部分文本的叠加层,并在静默后自动发送。
  • 按住说话(右Option键长按):按住右Option键立即捕获——无需触发。按住时叠加层出现;释放后短暂停顿后转发,以便您可以调整文本。

运行时行为(唤醒词)

  • 语音识别器位于 VoiceWakeRuntime
  • 触发仅在唤醒词和下一个单词之间有有意义的停顿时才触发(约0.55秒间隔)。叠加层/提示音可以在命令开始之前停顿时启动。
  • 静默窗口:语音流畅时为2.0秒,仅听到触发词时为5.0秒。
  • 硬停止:120秒以防止会话失控。
  • 会话之间的防抖:350毫秒。
  • 叠加层通过 VoiceWakeOverlayController 驱动,使用已提交/易失性着色。
  • 发送后,识别器会干净地重新启动以监听下一个触发词。

生命周期不变量

  • 如果启用了语音唤醒并且权限已授予,唤醒词识别器应处于监听状态(除非正在进行显式的按住说话捕获)。
  • 叠加层可见性(包括通过X按钮手动关闭)绝不能阻止识别器恢复。

粘性叠加层故障模式(以前)

以前,如果叠加层卡住可见并且您手动关闭了它,语音唤醒可能会显得“死掉”,因为运行时的重启尝试可能会被叠加层可见性阻止,并且没有安排后续重启。

强化措施:

  • 唤醒运行时重启不再受叠加层可见性的影响。
  • 叠加层关闭完成会通过 VoiceSessionCoordinator 触发 VoiceWakeRuntime.refresh(...),因此手动X关闭总是会恢复监听。

按住说话具体说明

  • 热键检测使用全局 .flagsChanged 监视器用于右Option键 (keyCode 61 + .option)。我们只观察事件(不拦截)。
  • 捕获管道位于 VoicePushToTalk:立即启动语音识别,将部分结果流式传输到叠加层,并在释放时调用 VoiceWakeForwarder
  • 当按住说话启动时,我们暂停唤醒词运行时以避免音频冲突;释放后会自动重启。
  • 权限:需要麦克风+语音;查看事件需要辅助功能/输入监视批准。
  • 外部键盘:某些键盘可能不会按预期暴露右Option键——如果用户报告错过,请提供备用快捷方式。

用户界面设置

  • 语音唤醒开关:启用唤醒词运行时。
  • 按住Cmd+Fn说话:启用按住说话监视器。macOS < 26上禁用。
  • 语言和麦克风选择器、实时电平表、触发词表、测试器(仅本地;不转发)。
  • 麦克风选择器在设备断开连接时保留上次选择,显示断开连接提示,并临时回退到系统默认值,直到其返回。
  • 声音:触发检测和发送时播放提示音;默认为macOS“玻璃”系统声音。您可以为每个事件选择任何 NSSound 加载的文件(例如MP3/WAV/AIFF),或选择无声音

转发行为

  • 当启用语音唤醒时,转录内容会转发到活动网关/代理(与mac应用程序其他部分使用的本地与远程模式相同)。
  • 回复会发送到最后使用的主提供商(WhatsApp/Telegram/Discord/WebChat)。如果发送失败,错误会被记录,并且可以通过WebChat/会话日志查看运行情况。

转发负载

  • VoiceWakeForwarder.prefixedTranscript(_:) 在发送前附加机器提示。唤醒词和按住说话路径共享。

快速验证

  • 打开按住说话,按住Cmd+Fn,说话,释放:叠加层应显示部分结果然后发送。
  • 按住期间,菜单栏上的耳朵应保持放大(使用 triggerVoiceEars(ttl:nil));释放后缩小。