v11.0 · 151 Fases
HMI & Design Fases 12–136 Implementado · ~9 min (1.667 palavras) Godot 4VoskgpsdOpenCV
📄 docs/11-dual-screen-voz-gps-dms.md ↗

11 — Dual-Screen Godot 4, Voz Offline (Vosk), GPS Offline & DMS/Gestos

Este documento cobre a camada de interação motorista–veículo (Fases 12, 13, 14, 16, 91–102, 108, 109, 114 e 116).

Zenith AutoOS: 11.0.0 Fases: 151 Guias: 33 Idioma: PT-BR

Categoria: HMI & Design Fases: 12–136 Status: Implementado Godot 4: stack Vosk: stack gpsd: stack OpenCV: stack

🏠 README · 📚 Documentação · ⬅️ 10 · OTA A/B · 12 · Rede/Segurança ➡️

📑 Neste guia — 9 seções · ~12 min de leitura

Cinco layouts do cluster digital
Multi-screen: cluster, central, HUD e RSE sob o mesmo puck de dados.


🗺️ Visão geral em diagrama

Diagrama Mermaid
flowchart LR
    WS["Weston<br/>HDMI-A-1/2/3"] --> GODOT["Godot 4<br/>ZenithMaster"]
    GODOT --> CL["Cluster 1920×720"]
    GODOT --> CE["Central 1920×1080"]
    GODOT --> HUD["AR-HUD / RSE"]
    VOICE["Whisper + Vosk<br/>Piper / eSpeak"] --> GODOT
    GPS["gpsd + MapLibre<br/>Valhalla offline"] --> GODOT
    DMS["DMS + gestos"] --> GODOT

    style GODOT fill:#478CBF,color:#fff,stroke:#93C5FD
    style VOICE fill:#8B5CF6,color:#fff,stroke:#C4B5FD
    style GPS fill:#0A5C36,color:#fff,stroke:#C8A951

Como ler: o diagrama resume o fluxo principal deste guia; os detalhes, pinagens, endpoints e trechos de código aparecem nas seções abaixo.

1. Dual-Screen Wayland/Weston + Godot Multi-Window (Fase 12)

Weston (weston.ini & 99-touchscreens.rules)

  • HDMI-A-1: 1920x720@60 em position=0,0 (Cluster Ultrawide atrás do volante — Touch travado em /dev/input/zenith-touch-cluster).
  • HDMI-A-2: 1920x1080@60 em position=1920,0 (Tela Touch Central — Touch travado em /dev/input/zenith-touch-central via LIBINPUT_CALIBRATION_MATRIX + zenith_touch_matrix.sh).
  • HDMI-A-3: 1280x720@60 em position=3840,0 (Saída 3 — RSE Splitter HDMI 1x2 para encostos traseiros via zenith_multiseat_rse.py ou Projetor AR-HUD).
  • Virtual-1: fallback para emulador QEMU.

Arquitetura Multi-Window Godot 4 (Fractional DPI, 3D LUT, Color-Sync, Crossfade DRM & Monolith 60 FPS — Fases 56, 58, 60 e 91–100)


2. Assistente de Voz 100% Offline (Fase 13 + Voz Neural)

  • Daemon & Serviço Unificado: zenith_voice_agent.py (zenith-voice.service) e llm_voice_service.py (/api/voice/*).
  • Captura & STT: lê o microfone via pw-record no embarcado ou gravação direta Web Audio WAV 16kHz mono (S16_LE) via wavRecorder.ts / VoiceLlmAssistant.tsx (sem Google Web Speech API), transcrevendo offline com Whisper.cpp (models/whisper/ggml-base.bin / whisper-cli.exe) e Vosk (models/vosk/vosk-model-small-pt-0.3).
  • Intents JSON & LLM: combina voice_intents.json ("ok zenith", comandos ESP32, mídia, volume) com classify_vehicle_intent + Qwen2.5-1.5B em zenith_llm_ncm.py (rotas no mapa 3D, troca de temas, abertura de abas/cluster e diagnósticos OBD-II).
  • TTS Neural: síntese local em WAV com Piper ONNX (models/tts/pt_BR-faber-medium.onnx via synthesize_tts_wav) com fallback para pyttsx3 no Windows ou espeak-ng → pw-play no Linux.

3. Navegação GPS & Mapa 3D Offline Estilo Tesla (Fase 14 + MapLibre / Valhalla)

  • Receptor & Daemon Embarcado: gpsd lê módulo GPS USB/Serial (127.0.0.1:2947) junto a zenith_gps_nav.py (fallback raster tiles.mbtiles → /run/zenith/nav_map.png para CentralWindow.gd).
  • Mapa Vetorial 3D MapLibre + OSM 3D + Valhalla Offline: construído por build_offline_maps.py e servido por offline_nav_service.py (/api/nav/*) para TeslaMap3D.tsx:
    • Vector tiles MVT (data/nav/osm_vector.mbtiles) com extrusão 3D real (fill-extrusion) de 945.471 prédios OSM, 88.760 vias, parques, água e 29.820 POIs + glifos Noto Sans PBF locais.
    • Roteamento turn-by-turn C++ 100% offline via Valhalla (data/nav/valhalla_tiles/, 69 grafos .gph) e busca instantânea SQLite FTS5 (data/nav/places.sqlite, 52.882 locais).
    • Estilo dinâmico sincronizado com os temas do sistema (glassmorphism, cyberpunk_neon, minimalist_oled) e exibição ao vivo de veículos, motos, pedestres, buracos e radares offline projetados sobre o mapa 3D. Veja detalhes em Doc 33.

4. DMS (Monitoramento do Motorista) & Controle por Gestos (Fase 16)

  • Daemon: zenith_dms.py (zenith-dms.service) operando sobre câmera IR (/dev/video8).
  • Fadiga via EAR (Eye Aspect Ratio): suporta MediaPipe FaceMesh com fallback OpenCV Haar/contornos. Se EAR < 0.21 contínuo por >= 2.0 s com velocidade > 40 km/h:
    1. Dispara alerta sonoro via espeak → PipeWire DSP.
    2. Aciona motor vibratório no banco ({"cmd":"seat_vibrate","action":"pulse","duration_ms":1500}) via ESP32 GPB6.
    3. Ativa "dms.drowsy_alert": true no Cluster 1920x720.
  • Gestos com a Mão Direita: swipe_right / swipe_left avançam/retrocedem faixas AVRCP (BlueZ D-Bus); rotação circular (circle_cw / circle_ccw) ajusta o volume do PipeWire (5%+/5%-).

5. Expansões Fases 101–116 (Cognição LLM, Plugins .pck, LaneWatch, Saúde & Multi-Window RSE)

  • LLM Local Offline + Manuais LR/Toyota (Fase 101): zenith_voice_agent.py encaminha dúvidas mecânicas e intenções para zenith_llm_ncm.py (llama.cpp GGUF + banco RAG SQLite vehicle_manuals.json), além de reconhecer intenções HomeLink ("Abra a garagem").
  • Plugins .pck via USB Sandbox (Fase 102): ZenithPluginLoader.gd carrega temas/módulos externos via ProjectSettings.load_resource_pack(pck_path, false) sem sobrescrever o núcleo do sistema.
  • LaneWatch PiP (Fase 108) & Saúde do Veículo (Fase 109): LaneWatchPiP.gd abre vídeo da câmera lateral ao ligar a seta; MaintenanceTab.gd exibe barras de revisão (óleo, filtros, pneus, freio) e saúde da bateria SQLite.
  • Orquestração 4 Janelas RSE (Fase 114) & Pop-up HomeLink (Fase 116): RseWindow.gd instancia os encostos esquerdo/direito (--multi-window-sim); HomeLinkPopup.gd exibe o botão "ABRIR PORTÃO" ao entrar no raio GPS de <= 30 m de casa.

6. FASE 117 — i18n Nativo na Godot (TranslationServer), RTL (Árabe) & Hot-Swap Acústico de Voz

Na Fase 117, a arquitetura Dual-Screen + Voz Offline foi expandida para operação global em tempo real sem reinicialização:

  • Tradutor Nativo Godot (TranslationServer): project.godot registra 10 catálogos GNU Gettext .po + fallback tabular zenith_i18n.csv gerados deterministicamente por generate_zenith_i18n.py em res://translations/. ZenithLocalization.gd coordena TranslationServer.set_locale(), emissão do sinal locale_changed e fontes com fallback multilíngue (SystemFont: Noto Sans Arabic, Noto Sans CJK JP, Noto Sans CJK SC, Noto Sans, DejaVu Sans) via ZenithThemeEngine.gd.
  • Geometria RTL Dinâmica (Árabe ar): ao ativar ar, ClusterWindow.gd, CentralWindow.gd e os painéis anexos alternam Control.LAYOUT_DIRECTION_RTL, invertem barras laterais/alinhamentos/barras de progresso (apply_rtl_to_container), espelham ícones direcionais (flip_h) e trocam o lado do velocímetro/conta-giros e do velocímetro 3D (AnalogSpeedometer3D em Radar3D.gd).
  • Conversor de Unidades & Escala Analógica: a troca de idioma (ex.: pt_BR para en_US) recalcula em tempo real Velocímetro (km/h -> mph), Temperaturas (°C -> °F) e Sensores TPMS (Bar -> PSI), reconstruindo ticks/números da escala radial 2D e 3D (0..240 vs 0..160).
  • Hot-Swap de Voz (Whisper.cpp / Vosk + eSpeak) & LLM (llama.cpp): selecionar idioma no LocaleSelector da tela Central aciona ZenithMaster.request_locale_change(), disparando frame Protobuf ZL em ws://127.0.0.1:8766 e RPC SetLocale (:50051), que notifica /run/zenith/voice_cmd.sock (zenith_voice_agent.py) e /run/zenith/llm_cmd.sock (zenith_llm_ncm.py) para trocar em memória wake-words, intents (phrases_by_locale / tts_by_locale em voice_intents.json), modelo ggml-*.bin do whisper-cli, diretório vosk-model-*, voz TTS e prompt/modelo GGUF do LLM.

7. FASE 118 — Painel Central "Configurações" (7 Abas) & Configurador de Garagem 3D .GLB

  • Painel Modular Unificado (SettingsPanel.gd): overlay SettingsMasterPanel acoplado ao botão "Configurações" em CentralWindow.gd organizando os controles de todas as 117 fases em 7 abas (Veículo, Áudio DSP, ADAS & Câmeras, Iluminação RGB, Conectividade (Bluetooth/Wi-Fi), Telas & Temas e Sistema) com salvamento instantâneo via ZenithMaster.send_settings_patch().
  • Configurador de Garagem Encadeado & Palco Central .GLB (VehicleShowcase3D.gd & GarageConfigurator.gd): dropdowns dinâmicos Marca → Modelo → Ano disparam vehicle_selected → zenith_settings_manager.py, carregam o .glb via ObjMeshLoader.load_gltf_scene() rotacionando no centro de CentralWindow.gd, e atualizam dinamicamente redline_rpm em ClusterWindow.gd e limiares/modelo ego em Radar3D.gd.

8. Fases 124 & 136 — Base de Radares Offline CSV + Android Auto/CarPlay na Tela Central

  • Radares e Lombadas Offline (zenith_radar_db.py): Integrado diretamente ao daemon zenith_gps_nav.py, importa bancos CSV para SQLite local e desenha marcadores + alertas de aproximação por Haversine e rumo GPS sem depender de Waze ou internet, exibindo o aviso no ClusterWindow.gd e em CentralWindow.gd.
  • Projeção Android Auto / Apple CarPlay (zenith_projection_manager.py): Janela embutida sobre openauto / aasdk (pacotes nativos Buildroot) e Carlinkit CPC200 para Waze e Spotify com repasse de SWC do volante e banner GarageSyncBanner interativo na CentralWindow.gd quando a sincronização da garagem está em modo "ask". Ver Doc 29 e Doc 32.

⬅️ 10 · OTA A/B · ⬆️ Topo · 📚 Índice · 12 · Rede/Segurança ➡️

Zenith AutoOS 11.0 · Documentação técnica · Novembro de 2026 · README principal