11 — Dual-Screen Godot 4, Voz Offline (Vosk), GPS Offline & DMS/Gestos
Este documento cobre a camada de interação motorista–veículo (Fases 12, 13, 14, 16, 91–102, 108, 109, 114 e 116).
🏠 README · 📚 Documentação · ⬅️ 10 · OTA A/B · 12 · Rede/Segurança ➡️
📑 Neste guia — 9 seções · ~12 min de leitura
- 🗺️ Visão geral em diagrama
- 1. Dual-Screen Wayland/Weston + Godot Multi-Window (Fase 12)
- 2. Assistente de Voz 100% Offline (Fase 13 + Voz Neural)
- 3. Navegação GPS & Mapa 3D Offline Estilo Tesla (Fase 14 + MapLibre / Valhalla)
- 4. DMS (Monitoramento do Motorista) & Controle por Gestos (Fase 16)
- 5. Expansões Fases 101–116 (Cognição LLM, Plugins .pck, LaneWatch, Saúde & Multi-Window RSE)
- 6. FASE 117 — i18n Nativo na Godot (TranslationServer), RTL (Árabe) & Hot-Swap Acústico de Voz
- 7. FASE 118 — Painel Central "Configurações" (7 Abas) & Configurador de Garagem 3D .GLB
- 8. Fases 124 & 136 — Base de Radares Offline CSV + Android Auto/CarPlay na Tela Central
Multi-screen: cluster, central, HUD e RSE sob o mesmo puck de dados.
🗺️ Visão geral em diagrama
flowchart LR
WS["Weston<br/>HDMI-A-1/2/3"] --> GODOT["Godot 4<br/>ZenithMaster"]
GODOT --> CL["Cluster 1920×720"]
GODOT --> CE["Central 1920×1080"]
GODOT --> HUD["AR-HUD / RSE"]
VOICE["Whisper + Vosk<br/>Piper / eSpeak"] --> GODOT
GPS["gpsd + MapLibre<br/>Valhalla offline"] --> GODOT
DMS["DMS + gestos"] --> GODOT
style GODOT fill:#478CBF,color:#fff,stroke:#93C5FD
style VOICE fill:#8B5CF6,color:#fff,stroke:#C4B5FD
style GPS fill:#0A5C36,color:#fff,stroke:#C8A951Como ler: o diagrama resume o fluxo principal deste guia; os detalhes, pinagens, endpoints e trechos de código aparecem nas seções abaixo.
1. Dual-Screen Wayland/Weston + Godot Multi-Window (Fase 12)
Weston (weston.ini & 99-touchscreens.rules)
HDMI-A-1:1920x720@60emposition=0,0(Cluster Ultrawide atrás do volante — Touch travado em/dev/input/zenith-touch-cluster).HDMI-A-2:1920x1080@60emposition=1920,0(Tela Touch Central — Touch travado em/dev/input/zenith-touch-centralviaLIBINPUT_CALIBRATION_MATRIX+ zenith_touch_matrix.sh).HDMI-A-3:1280x720@60emposition=3840,0(Saída 3 — RSE Splitter HDMI 1x2 para encostos traseiros via zenith_multiseat_rse.py ou Projetor AR-HUD).Virtual-1: fallback para emulador QEMU.
Arquitetura Multi-Window Godot 4 (Fractional DPI, 3D LUT, Color-Sync, Crossfade DRM & Monolith 60 FPS — Fases 56, 58, 60 e 91–100)
- project.godot: habilita
window/subwindows/embed_subwindows=false,viewport/transparent_background=true(Fase 93) sobredisplay_server/driver="wayland". - ZenithMaster.gd: mantém uma única conexão
WebSocketPeeremws://127.0.0.1:8765(+ frames binários Protobuf Color-Sync, Fase 91), orquestra todos os subsistemas no frame síncrono de16.667 msvia ZenithRenderPipeline.gd (Fase 100), executa crossfade alfa sem black-screen sobre o último frame do Plymouth DRM via BootTransition.gd (Fase 93), aplica escalamento fracionário porDisplayServer.screen_get_dpi(), acopla ZenithThemeEngine.gd (perfis JSONglassmorphism,cyberpunk_neon,minimalist_oled, VFSX Redline/Warp, True Tone eload_branding_texture()para zenith_logo_full.png / zenith_logo.svg) junto ao LUT3DLoader.gd:- ClusterWindow.gd (
HDMI-A-1): velocímetro interpolado a 60 FPS com fontes customizadas (ZenithMono-Tabular.ttf), selo oficial de marca (zenith_logo_full.png) + ícones SVG vetorizados, compensação geométrica circular de aspecto/DPI, RPM + alerta Redline>= 6000 RPM(Fase 95), temperatura, tensão, Tell-tales (SETA,FAROL,INJEÇÃO,TPMS!,ATENÇÃO DMS!), screensaver holográfico ZenithScreensaver.gd (Fase 99) e Radar3D.gd centralizado com pintura PBR CarPaintAutomotive.gdshader e rodas.OBJ/.GLB(ObjMeshLoader.gd). - CentralWindow.gd (
HDMI-A-2): textura ao vivo do mapa offline (/run/zenith/nav_map.png), metadados AVRCP Bluetooth, status DSP 5.1, controles I2C, Color-Sync / Master Dimmer / Temas JSON / Garage Configurator (GarageConfigurator.gd), efeitos táteis TouchRippleOverlay.gd + SpringPhysics.gd (Fase 98) e botãoTraseira (RSE BT)lançando filmes 4K QuickSync VA-API nos encostos com fones Bluetooth dedicados (53-zenith-rse-bt.conf). Documentação completa em 21 — Motor de Temas & VFSX e 22 — Gêmeo 3D, True Tone & Monolito 60 FPS.
- ClusterWindow.gd (
2. Assistente de Voz 100% Offline (Fase 13 + Voz Neural)
- Daemon & Serviço Unificado: zenith_voice_agent.py (zenith-voice.service) e llm_voice_service.py (
/api/voice/*). - Captura & STT: lê o microfone via
pw-recordno embarcado ou gravação direta Web Audio WAV16kHzmono (S16_LE) via wavRecorder.ts / VoiceLlmAssistant.tsx (sem Google Web Speech API), transcrevendo offline com Whisper.cpp (models/whisper/ggml-base.bin/whisper-cli.exe) e Vosk (models/vosk/vosk-model-small-pt-0.3). - Intents JSON & LLM: combina voice_intents.json (
"ok zenith", comandos ESP32, mídia, volume) comclassify_vehicle_intent+Qwen2.5-1.5Bem zenith_llm_ncm.py (rotas no mapa 3D, troca de temas, abertura de abas/cluster e diagnósticos OBD-II). - TTS Neural: síntese local em WAV com Piper ONNX (
models/tts/pt_BR-faber-medium.onnxviasynthesize_tts_wav) com fallback parapyttsx3no Windows ouespeak-ng→pw-playno Linux.
3. Navegação GPS & Mapa 3D Offline Estilo Tesla (Fase 14 + MapLibre / Valhalla)
- Receptor & Daemon Embarcado: gpsd lê módulo GPS USB/Serial (
127.0.0.1:2947) junto a zenith_gps_nav.py (fallback rastertiles.mbtiles→/run/zenith/nav_map.pngparaCentralWindow.gd). - Mapa Vetorial 3D MapLibre + OSM 3D + Valhalla Offline: construído por build_offline_maps.py e servido por offline_nav_service.py (
/api/nav/*) para TeslaMap3D.tsx:- Vector tiles MVT (
data/nav/osm_vector.mbtiles) com extrusão 3D real (fill-extrusion) de 945.471 prédios OSM, 88.760 vias, parques, água e 29.820 POIs + glifosNoto SansPBF locais. - Roteamento turn-by-turn C++ 100% offline via Valhalla (
data/nav/valhalla_tiles/, 69 grafos.gph) e busca instantânea SQLite FTS5 (data/nav/places.sqlite,52.882locais). - Estilo dinâmico sincronizado com os temas do sistema (
glassmorphism,cyberpunk_neon,minimalist_oled) e exibição ao vivo de veículos, motos, pedestres, buracos e radares offline projetados sobre o mapa 3D. Veja detalhes em Doc 33.
- Vector tiles MVT (
4. DMS (Monitoramento do Motorista) & Controle por Gestos (Fase 16)
- Daemon: zenith_dms.py (zenith-dms.service) operando sobre câmera IR (
/dev/video8). - Fadiga via EAR (Eye Aspect Ratio): suporta MediaPipe FaceMesh com fallback OpenCV Haar/contornos. Se
EAR < 0.21contínuo por>= 2.0 scom velocidade> 40 km/h:- Dispara alerta sonoro via
espeak→ PipeWire DSP. - Aciona motor vibratório no banco (
{"cmd":"seat_vibrate","action":"pulse","duration_ms":1500}) via ESP32GPB6. - Ativa
"dms.drowsy_alert": trueno Cluster 1920x720.
- Dispara alerta sonoro via
- Gestos com a Mão Direita:
swipe_right/swipe_leftavançam/retrocedem faixas AVRCP (BlueZ D-Bus); rotação circular (circle_cw/circle_ccw) ajusta o volume do PipeWire (5%+/5%-).
5. Expansões Fases 101–116 (Cognição LLM, Plugins .pck, LaneWatch, Saúde & Multi-Window RSE)
- LLM Local Offline + Manuais LR/Toyota (Fase 101): zenith_voice_agent.py encaminha dúvidas mecânicas e intenções para zenith_llm_ncm.py (
llama.cppGGUF + banco RAG SQLite vehicle_manuals.json), além de reconhecer intenções HomeLink ("Abra a garagem"). - Plugins
.pckvia USB Sandbox (Fase 102): ZenithPluginLoader.gd carrega temas/módulos externos viaProjectSettings.load_resource_pack(pck_path, false)sem sobrescrever o núcleo do sistema. - LaneWatch PiP (Fase 108) & Saúde do Veículo (Fase 109): LaneWatchPiP.gd abre vídeo da câmera lateral ao ligar a seta; MaintenanceTab.gd exibe barras de revisão (óleo, filtros, pneus, freio) e saúde da bateria SQLite.
- Orquestração 4 Janelas RSE (Fase 114) & Pop-up HomeLink (Fase 116): RseWindow.gd instancia os encostos esquerdo/direito (
--multi-window-sim); HomeLinkPopup.gd exibe o botão "ABRIR PORTÃO" ao entrar no raio GPS de<= 30 mde casa.
6. FASE 117 — i18n Nativo na Godot (TranslationServer), RTL (Árabe) & Hot-Swap Acústico de Voz
Na Fase 117, a arquitetura Dual-Screen + Voz Offline foi expandida para operação global em tempo real sem reinicialização:
- Tradutor Nativo Godot (
TranslationServer): project.godot registra 10 catálogos GNU Gettext.po+ fallback tabularzenith_i18n.csvgerados deterministicamente por generate_zenith_i18n.py emres://translations/. ZenithLocalization.gd coordenaTranslationServer.set_locale(), emissão do sinallocale_changede fontes com fallback multilíngue (SystemFont:Noto Sans Arabic,Noto Sans CJK JP,Noto Sans CJK SC,Noto Sans,DejaVu Sans) via ZenithThemeEngine.gd. - Geometria RTL Dinâmica (Árabe
ar): ao ativarar, ClusterWindow.gd, CentralWindow.gd e os painéis anexos alternamControl.LAYOUT_DIRECTION_RTL, invertem barras laterais/alinhamentos/barras de progresso (apply_rtl_to_container), espelham ícones direcionais (flip_h) e trocam o lado do velocímetro/conta-giros e do velocímetro 3D (AnalogSpeedometer3Dem Radar3D.gd). - Conversor de Unidades & Escala Analógica: a troca de idioma (ex.:
pt_BRparaen_US) recalcula em tempo real Velocímetro (km/h -> mph), Temperaturas (°C -> °F) e Sensores TPMS (Bar -> PSI), reconstruindo ticks/números da escala radial 2D e 3D (0..240vs0..160). - Hot-Swap de Voz (
Whisper.cpp/Vosk+eSpeak) & LLM (llama.cpp): selecionar idioma noLocaleSelectorda tela Central acionaZenithMaster.request_locale_change(), disparando frame ProtobufZLemws://127.0.0.1:8766e RPCSetLocale(:50051), que notifica/run/zenith/voice_cmd.sock(zenith_voice_agent.py) e/run/zenith/llm_cmd.sock(zenith_llm_ncm.py) para trocar em memória wake-words, intents (phrases_by_locale/tts_by_localeem voice_intents.json), modeloggml-*.bindowhisper-cli, diretóriovosk-model-*, voz TTS e prompt/modelo GGUF do LLM.
7. FASE 118 — Painel Central "Configurações" (7 Abas) & Configurador de Garagem 3D .GLB
- Painel Modular Unificado (SettingsPanel.gd): overlay
SettingsMasterPanelacoplado ao botão "Configurações" em CentralWindow.gd organizando os controles de todas as 117 fases em 7 abas (Veículo,Áudio DSP,ADAS & Câmeras,Iluminação RGB,Conectividade (Bluetooth/Wi-Fi),Telas & TemaseSistema) com salvamento instantâneo viaZenithMaster.send_settings_patch(). - Configurador de Garagem Encadeado & Palco Central
.GLB(VehicleShowcase3D.gd & GarageConfigurator.gd): dropdowns dinâmicos Marca → Modelo → Ano disparamvehicle_selected→ zenith_settings_manager.py, carregam o.glbviaObjMeshLoader.load_gltf_scene()rotacionando no centro deCentralWindow.gd, e atualizam dinamicamenteredline_rpmem ClusterWindow.gd e limiares/modelo ego em Radar3D.gd.
8. Fases 124 & 136 — Base de Radares Offline CSV + Android Auto/CarPlay na Tela Central
- Radares e Lombadas Offline (zenith_radar_db.py): Integrado diretamente ao daemon zenith_gps_nav.py, importa bancos CSV para SQLite local e desenha marcadores + alertas de aproximação por Haversine e rumo GPS sem depender de Waze ou internet, exibindo o aviso no
ClusterWindow.gde emCentralWindow.gd. - Projeção Android Auto / Apple CarPlay (zenith_projection_manager.py): Janela embutida sobre
openauto/aasdk(pacotes nativos Buildroot) e Carlinkit CPC200 para Waze e Spotify com repasse de SWC do volante e bannerGarageSyncBannerinterativo naCentralWindow.gdquando a sincronização da garagem está em modo"ask". Ver Doc 29 e Doc 32.
⬅️ 10 · OTA A/B · ⬆️ Topo · 📚 Índice · 12 · Rede/Segurança ➡️
Zenith AutoOS 11.0 · Documentação técnica · Novembro de 2026 · README principal