v11.0 · 151 Fases
ADAS & IA Fases 101–110 Implementado · ~8 min (1.487 palavras) LLMLXCBLEOpenCV
📄 docs/23-llm-sdk-welcome-clima-iluminacao-sentinela-bsw-lanewatch-saude-spatial-fases-101-110.md ↗

23 — Cognição LLM Local, SDK Sandboxed, Welcome Mode, Clima Remota, Iluminação, Sentry, BSW, LaneWatch, Saúde & Spatial Chime (Fases 101–110)

Este documento detalha as Fases 101 a 110 do Zenith AutoOS 11.0, integrando Inteligência Artificial offline via llama.cpp, plataforma extensível isolada por sandbox, conforto preditivo pré-embarque, segurança estacionária, assistência ativa de ponto cego e áudio espacial direcional de 6 canais.

Zenith AutoOS: 11.0.0 Fases: 151 Guias: 33 Idioma: PT-BR

Categoria: ADAS & IA Fases: 101–110 Status: Implementado LLM: stack LXC: stack BLE: stack OpenCV: stack

🏠 README · 📚 Documentação · ⬅️ 22 · Gêmeo 3D · 24 · Simulador ➡️

📑 Neste guia — 11 seções · ~8 min de leitura

Cognição e serviços de cabine
Fases 101–110: LLM local, plugins isolados, welcome mode, sentry e BSW.


🗺️ Visão geral em diagrama

Diagrama Mermaid
flowchart LR
    LLM["LLM local<br/>llama.cpp"] --> NCM["VehicleCognitionEngine"]
    RAG["RAG manuais + DTC"] --> NCM
    NCM --> HUB["Hub 60 Hz"]
    PLUGIN["Plugin .pck"] --> SANDBOX["Sandbox LXC/chroot"]
    SANDBOX --> HUB
    BLE["BLE Welcome"] --> HUB
    CLIMA["Clima remoto"] --> HUB
    SENTRY["Sentry / BSW / LaneWatch"] --> HUB

    style NCM fill:#F97316,color:#fff,stroke:#FDBA74
    style SANDBOX fill:#333333,color:#fff,stroke:#94A3B8
    style HUB fill:#0A5C36,color:#fff,stroke:#C8A951

Como ler: o diagrama resume o fluxo principal deste guia; os detalhes, pinagens, endpoints e trechos de código aparecem nas seções abaixo.

1. FASE 101 — LLM Generativo Local & Arquitetura NCM (Cognição Veicular)

  • Pacote Buildroot llama-cpp (Config.in, llama-cpp.mk):
    • Compila llama-cli, llama-server e libllama.so com instruções AVX2/FMA/F16C para x86_64 no configs/zenith_autoos_defconfig (BR2_PACKAGE_LLAMA_CPP=y).
  • Banco Vetorial RAG, Qwen2.5-1.5B & Motor NCM (zenith_llm_ncm.py + vehicle_manuals.json + zenith-llm.service):
    • Indexa os manuais de serviço da Land Rover Freelander 1 (2006) e Toyota / Lexus ES 300 (1998 XV20) em /data/llm/manuals_rag.db (SQLite WAL com embeddings L2-normalizados) e integra a base de falhas OBD-II (dtc_knowledge_pt.json via zenith_dtc_explainer.py) sempre que o motorista cita códigos DTC como P0300.
    • Suporta modelo real quantizado models/qwen2.5-1.5b-instruct-q4_k_m.gguf com aceleração GPU/CPU via llama-server local (/v1/chat/completions, baixa latência) e fallback llama-cli / síntese determinística RAG, orquestrado no backend Web por llm_voice_service.py (/api/llm/* e /api/voice/*).
    • Ao receber dúvida falada ou digitada via zenith_voice_agent.py / VoiceLlmAssistant.tsx (Whisper.cpp ggml-base.bin / Vosk), executa intenção de cabine (navegar para..., temas, abas, volume, HomeLink) ou gera diagnóstico contextual e sintetiza resposta falada offline via Piper ONNX (pt_BR-faber-medium.onnx). Veja detalhes no Doc 33.

2. FASE 102 — SDK Aberto & Sistema de Plugins Isolados (Sandboxing)

  • Infraestrutura Buildroot & Kernel (zenith_autoos_defconfig, linux.config, 99-zenith-plugins.rules):
    • Habilita BR2_PACKAGE_LXC=y, BR2_PACKAGE_LIBSECCOMP=y, util-linux (nsenter/unshare) e suporte no kernel (CONFIG_SECCOMP_FILTER=y, CONFIG_USER_NS=y, CONFIG_EXFAT_FS=y).
  • Sandbox & Auditoria (zenith_plugin_sandbox.py + zenith-plugin-daemon.service):
    • Rejeita estritamente qualquer manifesto plugin.json que solicite can_control, brake_control, engine_control, esp32_raw, ecu_flash ou root_exec, e bloqueia código Python que mencione /dev/ttyUSB*, esp32_cmd.sock ou can0.
    • Scripts IoT aprovados executam em jaula LXC / chroot + UID 65534 (nobody) com RLIMIT_CPU/RLIMIT_AS/RLIMIT_NOFILE.
  • Carregador Godot .pck (ZenithPluginLoader.gd):
    • Escaneia pendrives USB (/media/*/zenith_plugins, /mnt/*/zenith_plugins) e instala novos temas (Fase 94) ou pacotes .pck usando ProjectSettings.load_resource_pack(pck_path, false) (replace_files=false preserva integralmente o núcleo do sistema). Ver guia completo em PLUGIN_SDK.md.

3. FASE 103 — Perfil Automático de Motorista (Welcome Mode)

  • Firmware ESP32 (firmware.ino):
    • Varre BLE em baixo consumo (runParkedPaakBeaconCheck durante timer wakeup). Ao detectar o MAC do smartphone autorizado dentro de ~3 metros (RSSI >= PAAK_WELCOME_3M_RSSI_DBM = -64 dBm):
      1. Aciona o relé do PC x86 (PIN_PC_RELAY = HIGH).
      2. Inicia rampa suave PWM (Fade-In) da iluminação interna (welcomeFadeActive via PCA9685).
      3. Destrava as portas (MCP23017 0x21 GPB1) e emite EVENT:WELCOME_MODE.
  • Perfilamento & Áudio (zenith_profile_manager.py, profiles_default.json, zenith_bt_manager.py):
    • Carrega na Godot Engine o tema e cores favoritos do motorista (theme_id, primary_hex, accent_hex), ajusta volume base (base_volume_pct) e equalização/delays no CamillaDSP (:1234), e dispara reconexão A2DP do smartphone (bt_connect_a2dp).

4. FASE 104 — Controle de Climatização Remota (Pré-Condicionamento)

  • Cliente MQTT/Wi-Fi & GSM Nativo no ESP32 (firmware.ino + zenith_mqtt_bridge.py):
    • O ESP32 conecta-se ao Wi-Fi doméstico/garagem (ou recebe comandos AT GSM via serial) e assina os tópicos zenith/clima/on e zenith/clima/off.
    • Ao receber o comando, ativa o relé da embreagem do A/C (MCP23017 0x20 GPB3), pulsa o optoacoplador paralelo do painel A/C (MCP23017 0x21 GPB5) e modula o blower em PWM (PCA9685 ch9) sem necessidade de girar a chave de ignição, respeitando trava de tensão >= 11.9 V e timeout máximo de 15 minutos.

5. FASE 105 — Iluminação de Boas-Vindas & "Follow Me Home"

  • Entradas PC817 (MCP23017 0x22 GPA6/GPA7) & Luminosidade (VEML7700):
    • Ao receber pulso de destravamento (Unlock) à noite (< 35 lux), liga suavemente os faróis de milha (MCP23017 0x21 GPB6) e luzes de posição/cortesia (PCA9685).
    • Ao receber pulso de travamento (Lock), executa triggerFollowMeHomeLock: mantém os faróis acesos por exatos 30 segundos (FOLLOW_ME_HOME_MS = 30000UL) e realiza fade-out PWM suave (3000 ms) antes de desligar e dormir.

6. FASE 106 — Dashcam Estacionária (Sentry Mode Simplificado)

  • Detecção Baixo Consumo (MPU6050 0x68 + PIR GPIO 39):
    • Com o carro estacionado (ACC OFF), o PC x86 e as 8 câmeras permanecem 100% desligados (PIN_PC_RELAY = LOW).
    • Se o acelerômetro MPU6050 registrar impacto (deltaG >= 0.45 G) ou o sensor PIR detectar aproximação, o ESP32 desperta, liga o PC x86 e emite EVENT:SENTRY_TRIGGER.
  • Gravação Expressa no Pendrive (zenith_sentry_capture.sh + zenith_sentry_guard.py + zenith-sentry.service):
    • Grava exatamente 2 minutos (-t 120) das câmeras Frontal e Traseira diretamente no pendrive USB montado (/media/usb*/zenith_sentry ou fallback /data/dvr/sentry), executa sync, envia CMD:SENTRY_DONE ao ESP32 e hiberna o PC novamente.

7. FASE 107 — Indicadores Visuais de Ponto Cego (BSW) na Cabine

  • Leitura de Setas & Fusão YOLOv8 (firmware.ino + adas_radar.py + zenith_ble_rgb.py):
    • O ESP32 lê o sinal 12V das alavancas de seta Esquerda/Direita via PC817 (MCP23017 0x22 GPA4/GPA5 com hold de 900 ms).
    • compute_bsw_alerts() cruza o estado das setas com as caixas laterais do YOLOv8 (side_left/side_right/rear_left/rear_right). Havendo veículo no ponto cego correspondente, envia {"cmd":"bsw_alert","active":true,"side":...,"r":255,"g":0,"b":0} piscando as fitas RGB da cabine/portas em vermelho intenso e iluminando a barra lateral no ClusterWindow.gd.

8. FASE 108 — Câmera Lateral Automática ao Dar a Seta (LaneWatch)

  • Painel PiP Fluido (LaneWatchPiP.gd + CentralWindow.gd):
    • Lê hardware.turn_left / hardware.turn_right via WebSocket e desliza com física de mola (SpringPhysics) um painel Picture-in-Picture exibindo o feed da câmera lateral esquerda ou direita + guias de distância e borda vermelha caso haja alerta BSW ativo.
    • Assim que a alavanca da seta desarma, o painel recolhe suavemente devolvendo a tela central ao mapa ou player.

9. FASE 109 — Menu de Manutenção e Diagnóstico Nativo

  • Persistência SQLite WAL (zenith_maintenance_db.py + zenith-maintenance.service) & Aba Godot (MaintenanceTab.gd):
    • Integra a quilometragem via GPS (Haversine) e OBD-II em /data/health/zenith_maintenance.db, exibindo barras de progresso e km restante para Troca de Óleo, Troca de Filtros, Rodízio de Pneus e Fluido de Freio (com botão de reset por item).
    • Destaca a tensão atual da bateria medida pelo ADC do ESP32 (PIN_VIN_ULP_ADC) com diagnóstico de risco de partida (< 11.9 V crítico, < 12.4 V atenção, >= 12.4 V saudável).

10. FASE 110 — Alerta Sonoro Direcional de Portas (Spatial Chime)

  • 4 Interruptores PC817 (MCP23017 0x22 GPA0..GPA3) & PipeWire 6 Canais (zenith_spatial_chime.py + 60-zenith-spatial-chime.conf + zenith-spatial-chime.service):
    • Sintetiza um gongo harmônico suave (.wav 6 canais @ 48 kHz) e aplica isolamento digital estrito (channelmix.disable = true):
      • Porta Motorista (fl) → Canal 0 (FL)
      • Porta Passageiro (fr) → Canal 1 (FR)
      • Porta Traseira Esquerda (rl) → Canal 2 (RL)
      • Porta Traseira Direita (rr) → Canal 3 (RR)
    • Ao abrir uma porta com o carro ligado, apenas o alto-falante daquela exata porta reproduz o gongo, enquanto os outros 5 canais permanecem em zero absoluto.

⬅️ 22 · Gêmeo 3D · ⬆️ Topo · 📚 Índice · 24 · Simulador ➡️

Zenith AutoOS 11.0 · Documentação técnica · Novembro de 2026 · README principal