v11.0 · 151 Fases
Operação & Simulação Fases 111–116 Implementado · ~5 min (990 palavras) PythonV4L2VoskBLE
📄 docs/24-simulador-demo-multijanela-devtools-homelink-fases-111-116.md ↗

24 — Simulador Multi-Janela, Câmeras Virtuais YOLO, DevTools God Mode & HomeLink Integrado (Fases 111–116)

Este documento cobre toda a suíte de Simulação & Demonstração Desktop (Fases 111–115) para executar o Zenith AutoOS em bancada (Windows/macOS/Linux) sem precisar estar dentro do carro, além do Sistema HomeLink Integrado RF/Hardwired (Fase 116).

Zenith AutoOS: 11.0.0 Fases: 151 Guias: 33 Idioma: PT-BR

Categoria: Operação & Simulação Fases: 111–116 Status: Implementado Python: stack V4L2: stack Vosk: stack BLE: stack

🏠 README · 📚 Documentação · ⬅️ 23 · LLM/SDK · 25 · i18n/RTL ➡️

📑 Neste guia — 7 seções · ~5 min de leitura

Simulador com central, OBD, áudio e settings
Sem hardware: quatro janelas, câmeras virtuais, telemetria fantasma e God Mode.


🗺️ Visão geral em diagrama

Diagrama Mermaid
flowchart TB
    BOOT["setup_demo"] --> SIM["zenith_simulator_core.py"]
    SIM --> FAKE["zenith_fake_v4l2.py"]
    FAKE --> V4L["/dev/video10..13"]
    SIM --> WS["WebSocket :8765"]
    WS --> FE["Central"]
    WS --> CL["Cluster"]
    WS --> DEV["DevTools God Mode"]
    DEV --> SIM
    HL["HomeLink CC1101"] --> ESP["ESP32"]

    style SIM fill:#2DD4BF,color:#111,stroke:#99F6E4
    style DEV fill:#7C3AED,color:#fff,stroke:#C4B5FD
    style WS fill:#0A5C36,color:#fff,stroke:#C8A951

Como ler: o diagrama resume o fluxo principal deste guia; os detalhes, pinagens, endpoints e trechos de código aparecem nas seções abaixo.

1. FASE 111 — Setup Automatizado & Demo Bootstrap

  • Scripts: setup_demo.sh (Linux/macOS), setup_demo.bat (Windows) e demo/bootstrap_assets.py.
  • O que prepara automaticamente:
    1. Verifica Python 3 e instala pacotes do simulador (fastapi, uvicorn[standard], websockets, numpy, pillow, httpx).
    2. Baixa os modelos reais 100% offline (com fallback --offline / --skip-large para testes): LLM qwen2.5-1.5b-instruct-q4_k_m.gguf + binários tools/llama-cpp/ (llama-cli.exe / llama-server.exe), Whisper.cpp (ggml-base.bin + whisper-cli.exe), Vosk PT-BR (vosk-model-small-pt-0.3) e Piper Neural TTS (pt_BR-faber-medium.onnx).
    3. Prepara data/nav/tiles.mbtiles (fallback raster) enquanto demo/build_offline_maps.py compila a base completa 3D OSM (osm_vector.mbtiles, valhalla_tiles/, places.sqlite FTS5 e glyphs/).
    4. Prepara modelo 3D .glb em ./demo_assets/models/, áudio .wav 6 canais em ./demo_assets/audio/ e vídeo .mp4 de dashcam em ./demo_assets/video/dashcam_road.mp4.

2. FASE 112 — Backend de Simulação & Telemetria Fantasma (zenith_simulator_core.py)

  • Servidor (zenith_simulator_core.py):
    • Expõe FastAPI + WebSockets (ws://localhost:8000, /ws/telemetry, /ws/adas, /ws/hmi) com suporte a JSON e frames binários Protobuf+CRC32 (?format=protobuf via zenith_proto_codec.py), além de espelhar integralmente as rotas offline de Copiloto LLM/Voz (/api/llm/*, /api/voice/*) e Mapa 3D MapLibre + Valhalla + Live ADAS (/api/nav/*, /api/adas/objects).
    • Loop Dinâmico (step_simulation): oscila RPM (0–7000), velocidade (0–120 km/h), troca de marchas automática (1..6 / R), consumo de bateria (SoC/V) e ângulo de direção.
    • Sensores Falsificados Coerentes: environment.co2_ppm, environment.pm25_ug_m3, 4 pneus TPMS (30–35 PSI + temperatura) e temperatura do líquido de arrefecimento.

3. FASE 113 — Pipeline de Câmeras Virtuais & Injeção YOLO (zenith_fake_v4l2.py)

  • Spoofer (zenith_fake_v4l2.py):
    • Lê demo_assets/video/dashcam_road.mp4 em loop infinito via cv2.VideoCapture (com injeção opcional via ffmpeg em /dev/video10 v4l2loopback no Linux, e fallback sintético desenhando pista com silhuetas de carro e pedestre caso OpenCV esteja ausente).
    • Roda modelo YOLO (ultralytics se instalado, ou detector morfológico/óptico CPU determinístico) sobre cada frame e publica Bounding Boxes 3D (Carro, Moto, Pessoa, Buraco) em POST /api/simulator/yolo + preview JPEG em /api/simulator/cam/front_center, alimentando o Radar 3D, os alertas BSW (Fase 107) e os marcadores ao vivo no Mapa 3D.

4. FASE 114 — Orquestração Multi-Janela (start_demo.py)

  • Launcher (start_demo.py + sim_windows.html + RseWindow.gd):
    • Inicia zenith_simulator_core.py e zenith_fake_v4l2.py e abre 4 janelas independentes simultaneamente (via Godot 4 --multi-window-sim ou janelas Chromium/Edge --app):
      1. Cluster (1920x720) — /sim/cluster (com visor radar SVG #cAdasSvg desenhando carros, motos, pessoas e buracos em tempo real)
      2. Central (1920x1080) — /sim/central
      3. RSE Esquerda (1280x720) — /sim/rse-left
      4. RSE Direita (1280x720) — /sim/rse-right
    • A Janela Central envia comandos imediatos de Play/Pause, mídia e brilho (cmd: "rse_control") refletidos instantaneamente nos dois encostos traseiros.

5. FASE 115 — DevTools HMI: O Painel de Controle Divino (God Mode)

  • Interface Web (devtools.html em http://localhost:8000/devtools) & Branding:
    • Exibe o logotipo oficial e favicon servidos por /branding/{asset_name} (logo.png, zenith-logo.png, zenith-mark.png, favicon.png) tanto no DevTools quanto nas janelas de simulação (sim_windows.html).
    • Sliders: RPM (0–7000), Velocidade (0–200), Combustível (0–100%), Ângulo Volante (-540°..+540°), Tensão Bateria (10.8–14.8V).
    • Toggles: Portas (FL/FR), Farol Alto, Marcha à Ré, Seta Esquerda/Direita (acionando LaneWatch PiP & BSW), Buraco/Impacto, Welcome Mode (3m), Clima Remoto, Follow Me Home (30s), Geofence Garagem (30m), Impacto Sentry (MPU6050).
    • Color Picker RGB: altera cor hexadecimal da cabine e de todas as 4 telas simultaneamente via WebSocket Push em < 10 ms.

  • Firmware C++ ESP32 (zenith_homelink.h, zenith_homelink.cpp, firmware.ino):
    1. Transceptor RF SPI CC1101: captura/clona (homelinkLearnRf) e transmite códigos fixos OOK/ASK em 433.92 MHz / 315 MHz (transmitFixedCodeOok), salvando na NVS (zenith_hl).
    2. Hardware Bypass SSR: aciona relés de estado sólido (MCP23017 0x21 GPB3/GPB4) em pulso não-bloqueante de 450 ms para controles Rolling Code originais embutidos no painel.
  • Godot + Geofencing GPS (<= 30 m):
    • zenith_gps_nav.py calcula distância Haversine até a coordenada "Casa"; ao entrar no raio de 30 metros, HomeLinkPopup.gd exibe um pop-up dinâmico com botão "ABRIR PORTÃO" sobre qualquer tela ativa.
  • Integração NLP (Fase 101):
    • classify_vehicle_intent em zenith_llm_ncm.py e voice_intents.json mapeiam "Abra a garagem" / "Abrir portão" diretamente para o comando {"cmd": "homelink", "action": "open", "channel": 0}.

⬅️ 23 · LLM/SDK · ⬆️ Topo · 📚 Índice · 25 · i18n/RTL ➡️

Zenith AutoOS 11.0 · Documentação técnica · Novembro de 2026 · README principal