v11.0 · 151 Fases
ADAS & IA Fases 5–25 Implementado · ~6 min (1.049 palavras) Coral TPUYOLOv8Godot 4OpenCV
📄 docs/07-adas-360-coral-godot.md ↗

07 — Sistema ADAS 360° 3D (8 Câmeras + Google Coral TPU + Godot)

Este documento detalha o pipeline completo de visão computacional ADAS 360° em 3D em tempo real — tanto na versão embarcada Buildroot (adas_radar.py + Radar3D.gd) quanto na pilha de desenvolvimento Web/FastAPI (adas_coral_yolo.py + AdasRadar3D.gd).

Zenith AutoOS: 11.0.0 Fases: 151 Guias: 33 Idioma: PT-BR

Categoria: ADAS & IA Fases: 5–25 Status: Implementado Coral TPU: stack YOLOv8: stack Godot 4: stack OpenCV: stack

🏠 README · 📚 Documentação · ⬅️ 06 · Instalação · 08 · Buildroot ➡️

📑 Neste guia — 5 seções · ~6 min de leitura

Visão 360° e detecções ADAS na central
Visão 360°: câmeras, objetos 3D e radar tático no cluster.


🗺️ Visão geral em diagrama

Diagrama Mermaid
flowchart LR
    CAM["8 câmeras USB"] --> SPLIT["v4l2loopback<br/>/dev/video10..13"]
    SPLIT --> YOLO["YOLOv8<br/>Coral Edge TPU"]
    YOLO --> FUSION["Fusão EKF<br/>LiDAR + mmWave"]
    FUSION --> HUB["Hub WebSocket 60 Hz"]
    HUB --> GODOT["Godot 4<br/>Radar 3D"]
    HUB --> CLUSTER["Cluster 1920×720"]
    HUB --> DVR["DVR + Sentinela"]
    HUB --> MAP["Mapa 3D + objetos ADAS"]

    style CAM fill:#555555,color:#fff,stroke:#CBD5E1
    style YOLO fill:#FF6F00,color:#fff,stroke:#FDBA74
    style HUB fill:#0A5C36,color:#fff,stroke:#C8A951

Como ler: o diagrama resume o fluxo principal deste guia; os detalhes, pinagens, endpoints e trechos de código aparecem nas seções abaixo.

1. Visão Geral das 3 Etapas (Arquitetura Unificada)

text
[8x Câmeras Sony IMX323/307 @ 640x480 MJPG] ---> (2x Hubs USB 3.0 5V/10A)
        |                                                |
        | (video0 -> video10/11, video7 -> video12/13)   +--> [zenith_dvr.py] (DVR VAAPI 50GB)
        v
[Etapa A: OpenCV4 + Coral Edge TPU (YOLOv8n INT8)] ---> Detecta Carro, Moto, Pessoa
        |
        v
[Etapa B: Profundidade Monocular + Deduplicação + ObjectTracker360] -> XYZ (m)
        |
        +---< (/run/zenith/hub_ingest.sock) <--- [zenith_telemetry.py] + [zenith_bluetooth_agent.py]
        |
        v
[Hub WebSocket ws://127.0.0.1:8765 @ 60Hz]
        |
        +---> [Godot Engine 4 Wayland DRM/KMS] (Radar3D.gd + main.tscn)
        +---> [Central 3D / Cluster 1920x720] (via FastAPI WS /ws/adas)

2. Calibração das 8 Câmeras & Coexistência com DVR (v4l2loopback)

Cada câmera roda em sua própria thread (CameraStreamWorker) com resolução 640×480 em MJPG e buffer 1 para não saturar os controladores USB xHCI. Quando o serviço zenith-v4l2-splitter.service está ativo, /dev/video0 e /dev/video7 são espelhados em /dev/video10 e /dev/video12 (para o ADAS) e /dev/video11 e /dev/video13 (para o DVR).

Índice Dispositivo ADAS Posição (name) Ângulo (yaw_deg) Offset X (m) Offset Z (m)
0 /dev/video10 (fallback /dev/video0) front_center 0° 0.00 +2.20
1 /dev/video1 front_left -45° -0.85 +1.90
2 /dev/video2 front_right +45° +0.85 +1.90
3 /dev/video3 side_left -90° -0.95 +0.20
4 /dev/video4 side_right +90° +0.95 +0.20
5 /dev/video5 rear_left -135° -0.85 -2.00
6 /dev/video6 rear_right +135° +0.85 -2.00
7 /dev/video12 (fallback /dev/video7) rear_center 180° 0.00 -2.25

Fórmula de Estimação Monocular (estimate_monocular_xyz)

  • Altura real assumida por classe COCO: Pessoa (0) 1.72m, Carro (2/5/7) 1.50m / 2.90m / 2.60m, Moto (1/3) 1.10m / 1.15m.
  • Distância radial na lente:
$D_{\text{local}} = \text{clamp}\left(\frac{H_{\text{real}} \cdot f_{\text{px}}}{\max(H_{\text{bbox\_px}}, 8.0)},\; 0.4,\; 80.0\right)$
  • Ângulo global relativo ao veículo:
$\theta_{\text{mundo}} = \text{rad}(\text{yaw\_deg}) + \arctan2\left(cx_{\text{px}} - \frac{W}{2},\; f_{\text{px}}\right)$
  • Coordenadas finais no referencial do carro:
$X = X_{\text{mount}} + D_{\text{local}} \sin(\theta_{\text{mundo}}), \qquad Z = Z_{\text{mount}} + D_{\text{local}} \cos(\theta_{\text{mundo}})$

3. Inferência Coral Edge TPU & Modelo YOLOv8

  • O detector carrega /opt/zenith/adas/models/yolov8n_edgetpu.tflite via tflite_runtime.interpreter.Interpreter com o delegate libedgetpu.so.1 (e fallback automático para CPU caso a TPU esteja desconectada).
  • Saídas INT8/UINT8 são dequantizadas e filtradas por NMS (cv2.dnn.NMSBoxes), deduplicadas em 360° (deduplicate_360, raio 1.25m) e estabilizadas por ObjectTracker360 para manter IDs consistentes (trk_N) durante a interpolação lerp() no Godot.

4. Renderização 3D Nativa em Godot Engine 4 (Wayland / KMS)

  • Compositor & Serviço: seatd.service + weston.service (kiosk-shell.so sobre DRM/KMS) + zenith-hmi.service executando start-hmi.sh.
  • Projeto Embarcado: project.godot, cena raiz main.tscn e script Radar3D.gd (--display-driver wayland --rendering-driver opengl3 --fullscreen).
  • Alerta Visual: Objetos em distance_m <= 6.0m ficam vermelhos (crítico); <= 12.0m ficam âmbar (atenção).
  • Sinais e Comandos: Radar3D.gd emite telemetry_updated, tpms_alert e media_updated para o HUD e envia comandos I2C de conforto via send_body_command().
  • BSW Inteligente com Seta (Fase 107): compute_bsw_alerts() cruza turn_left / turn_right (MCP23017 0x22 GPA4/5) com detecções laterais do YOLOv8 (side_left/side_right/rear_left/rear_right), disparando bsw_alert vermelho intenso nos LEDs RGB da cabine (zenith_ble_rgb.py + PCA9685) e indicador no Cluster.
  • LaneWatch PiP Automático (Fase 108): LaneWatchPiP.gd exibe automaticamente a câmera lateral correspondente na Central ao acionar a seta, recolhendo suavemente ao desarmar.
  • Pipeline Fake V4L2 + YOLO Desktop (Fase 113): zenith_fake_v4l2.py injeta vídeo .mp4 de dashcam (OpenCV/v4l2loopback) e publica detecções 3D em sincronia para o Radar Godot e BSW via /api/simulator/yolo.
  • Autoconfiguração Dinâmica de Massa, Sensibilidade YOLO & .GLB (Fase 118): adas_radar.py e zenith_simulator_core.py ajustam em tempo real o limiar EdgeTpuYoloDetector.conf_threshold pelo slider adas_cameras.yolo_sensitivity (0.15..0.95) e calculam os envelopes físicos aeb_danger_distance_m / fcw_warning_distance_m conforme o peso mass_kg do veículo selecionado em zenith_vehicle_db.json. No Godot 4, Radar3D.gd atualiza danger_distance_m/warning_distance_m e troca dinamicamente a malha EgoVehicle pelo .glb correspondente via ObjMeshLoader.load_gltf_scene().
  • Renderização Esculpida (Veículos, Motos & Pedestres sem Caixas Genéricas): Tanto o cliente Godot (Radar3D.gd / AdasRadar3D.gd via _build_sculpted_entity) quanto o visor Three.js Central (adasModels3D.ts + Car3DScene.tsx), o Cluster 1920×720 (AdasRadarSvg.tsx + GhostCluster1920x720.tsx), o simulador (sim_windows.html) e o feed sintético (zenith_fake_v4l2.py) constroem modelos e silhuetas diferenciadas para Carro/Caminhão, Moto com piloto, Pessoa/Pedestre animado e Buraco, preservando "BodyMesh"/"WireframeBox" no Godot para realce de proximidade.
  • Segurança ADAS no Dia a Dia & Homografia 360° (Fases 120–123 e 131): zenith_safety_adas.py integra no loop de adas_radar.py o SafeExitAssist (LED vermelho + áudio direcional na porta quando há moto/bicicleta e puxão de maçaneta), LeadVehicleDepartureMonitor ("O carro da frente andou"), TrafficSignSpeedRecognizer (placa R-19 e velocímetro laranja #F97316 no ClusterWindow.gd) e LaneDepartureDetector em OpenCV com supressão automática pela seta. Já zenith_birdseye_360.py entrega a visão aérea real por homografia OpenCV das 4 câmeras fisheye. Além disso, as detecções podem ser projetadas em tempo real sobre o Mapa 3D MapLibre via /api/nav/live-objects (offline_nav_service.py). Veja detalhes nos docs 29, 30 e 33.

⬅️ 06 · Instalação · ⬆️ Topo · 📚 Índice · 08 · Buildroot ➡️

Zenith AutoOS 11.0 · Documentação técnica · Novembro de 2026 · README principal