v11.0 · 151 Fases
ADAS & IA Fases 21–25 Implementado · ~4 min (783 palavras) EKFLiDARANCAR HUD
📄 docs/13-fusao-anc-arhud-biometria-trackday.md ↗

13 — Sensor Fusion (LiDAR/mmWave), ANC Ativo, AR HUD, Biometria & Track Day

Este documento detalha os subsistemas embarcados avançados das Fases 21, 22, 23, 24 e 25 do Zenith AutoOS.

Zenith AutoOS: 11.0.0 Fases: 151 Guias: 33 Idioma: PT-BR

Categoria: ADAS & IA Fases: 21–25 Status: Implementado EKF: stack LiDAR: stack ANC: stack AR HUD: stack

🏠 README · 📚 Documentação · ⬅️ 12 · Rede/Segurança · 14 · Edge/LoRa ➡️

📑 Neste guia — 6 seções · ~4 min de leitura

Fusão de sensores e AR HUD
Fusão: LiDAR, radar, visão e IMU alimentando ADAS, ANC e Track Day.


🗺️ Visão geral em diagrama

Diagrama Mermaid
flowchart LR
    LIDAR["LiDAR"] --> EKF["Fusão EKF"]
    MMW["Radar mmWave"] --> EKF
    CAM["Coral YOLO"] --> EKF
    EKF --> HUB["Hub 60 Hz"]
    HUB --> AR["AR HUD"]
    HUB --> ANC["ANC 40–120 Hz"]
    HUB --> TRACK["Track Day / IMU 100 Hz"]
    BIO["Biometria FPM10A"] --> HUB

    style EKF fill:#F97316,color:#fff,stroke:#FDBA74
    style HUB fill:#0A5C36,color:#fff,stroke:#C8A951
    style AR fill:#7C3AED,color:#fff,stroke:#C4B5FD

Como ler: o diagrama resume o fluxo principal deste guia; os detalhes, pinagens, endpoints e trechos de código aparecem nas seções abaixo.

1. Fusão de Sensores EKF (LiDAR + Radar mmWave + Coral YOLO — Fase 21)

  • Daemon: zenith_sensor_fusion.py (zenith-fusion.service)
  • Sensores Integrados (99-zenith-hardware.rules):
    • LiDAR 2D/3D (RPLIDAR A1/A3): /dev/zenith-lidar (115200 baud, parser binário 5 bytes parse_rplidar_measurement_node).
    • Radar Milimétrico TI AWR1642 (mmWave): /dev/zenith-mmwave (921600 baud, parser TLV parse_awr1642_tlv_frame extraindo x, y, z, doppler_velocity).
    • Visão YOLO Coral (ws://127.0.0.1:8765): associa cada Bounding Box ao ponto mediano do LiDAR e velocidade radial Doppler via Filtro de Kalman Estendido 4-estados (EKFTarget: [pos_x, pos_z, vel_x, vel_z]).
  • Renderização Godot 4: publica "fusion" (fused_objects com distância a laser precisa e point_cloud downsampled para 180 pontos) em /run/zenith/hub_ingest.sock. Radar3D.gd desenha a nuvem translúcida em tempo real via MultiMeshInstance3D.

2. Cancelamento Ativo de Ruído (ANC) 40–120 Hz no PipeWire (Fase 22)

  • Plugin LADSPA C++ Nativo: zenith_anc.cpp (zenith-anc-ladspa.mk)
    • Compilado diretamente para /usr/lib/ladspa/zenith_anc.so.
    • Arquitetura em tempo real sem alocações (HARD_RT_CAPABLE): Passa-Alta 40 Hz + Passa-Baixa 120 Hz (Biquad em cascata) → NLMS Limiter → Inversão de Fase 180° (sign = -1.0).
  • Roteamento PipeWire / WirePlumber:
    • 51-zenith-xfi.conf identifica o microfone de calibração no teto (zenith_anc_ceiling_mic).
    • 20-zenith-anc.conf carrega libpipewire-module-filter-chain ligando o microfone ao zenith_anc.so e injetando a onda antifase em paralelo com a música no barramento DSP snd_aloop (direcionado ao Subwoofer e Mid-bass pelos crossovers LR24).

3. Projeção de Realidade Aumentada no Para-Brisa (AR HUD — Fase 23)

  • Wayland Triple-Monitor (weston.ini): habilita o terceiro monitor [output] name=HDMI-A-3 (1280x720@60) para o projetor holográfico transparente.
  • Cena Transparente Godot 4 (AR_HUD.gd + ZenithMaster.gd):
    • Configura transparent_bg = true e window/per_pixel_transparency/allowed=true (project.godot).
    • Calibra uma Camera3D dedicada no Eye-box do motorista (eye_offset_x_m = -0.35, eye_height_y_m = 1.18, fov = 28°, pitch = -2.2°), projetando vetores verdes de faixa "SIGA RETO", caixas "ALVO TRAVADO · X.XXm" sincronizadas com o EKF/YOLO e avisos V2V.

4. Identificação Biométrica & Perfis de Cabine (Fase 24)

  • Hardware Biométrico & Banco Elétrico (firmware.ino):
    • Sensor óptico FPM10A conectado em UART2 (RX=GPIO 16, TX=GPIO 17, 57600 baud), emitindo EVENT:BIOMETRIC_FINGER:{"finger_id":N} via serial para zenith_power_daemon.py.
    • FaceID infravermelho embarcado em zenith_dms.py via comparação cosseno (>= 0.88) de ROI facial 8x8 equalizada.
    • Expansor secundário MCP23017 (0x21) acionando relés de memória do banco elétrico (seat_recall 1200 ms).
  • Orquestrador de Perfis (zenith_profile_manager.py + zenith-profiles.service):
    • Carrega perfis em /data/profiles/drivers.json (seed em profiles_default.json).
    • Aciona ajuste físico do banco (0x21), ilumina LEDs RGB favoritos (PCA9685), regula ventoinha do A/C e desloca dinamicamente os atrasos de Time Alignment (Sweet Spot) diretamente no CamillaDSP (ws://127.0.0.1:1234 SetConfigJson).

5. Telemetria Track Day & IMU 9-Eixos @ 100Hz (Fase 25)

  • Daemon IMU (zenith_imu_track.py + zenith-track.service):
    • Comunica via /dev/i2c-* (ioctl I2C_SLAVE=0x0703) com MPU9250/BNO085 a 100 Hz, calculando Roll, Pitch, Yaw (filtro complementar α = 0.98), Força-G Lateral e Longitudinal.
    • Cronometra voltas usando linha de partida GPS (gpsd raio 18m) e exporta CSVs pós-sessão para /data/trackday/track_session_<ts>.csv.
    • Se frenagem brusca <= -0.75G, aciona o rádio V2V LoRa via /run/zenith/v2v_cmd.sock.
  • Visualização 60 FPS: ClusterWindow.gd desenha o Círculo de Atrito G-G dinâmico + Best Lap diretamente atrás do volante.

⬅️ 12 · Rede/Segurança · ⬆️ Topo · 📚 Índice · 14 · Edge/LoRa ➡️

Zenith AutoOS 11.0 · Documentação técnica · Novembro de 2026 · README principal