07 — Sistema ADAS 360° 3D (8 Câmeras + Google Coral TPU + Godot)
Este documento detalha o pipeline completo de visão computacional ADAS 360° em 3D em tempo real — tanto na versão embarcada Buildroot (adas_radar.py + Radar3D.gd) quanto na pilha de desenvolvimento Web/FastAPI (adas_coral_yolo.py + AdasRadar3D.gd).
🏠 README · 📚 Documentação · ⬅️ 06 · Instalação · 08 · Buildroot ➡️
📑 Neste guia — 5 seções · ~6 min de leitura
Visão 360°: câmeras, objetos 3D e radar tático no cluster.
🗺️ Visão geral em diagrama
flowchart LR
CAM["8 câmeras USB"] --> SPLIT["v4l2loopback<br/>/dev/video10..13"]
SPLIT --> YOLO["YOLOv8<br/>Coral Edge TPU"]
YOLO --> FUSION["Fusão EKF<br/>LiDAR + mmWave"]
FUSION --> HUB["Hub WebSocket 60 Hz"]
HUB --> GODOT["Godot 4<br/>Radar 3D"]
HUB --> CLUSTER["Cluster 1920×720"]
HUB --> DVR["DVR + Sentinela"]
HUB --> MAP["Mapa 3D + objetos ADAS"]
style CAM fill:#555555,color:#fff,stroke:#CBD5E1
style YOLO fill:#FF6F00,color:#fff,stroke:#FDBA74
style HUB fill:#0A5C36,color:#fff,stroke:#C8A951Como ler: o diagrama resume o fluxo principal deste guia; os detalhes, pinagens, endpoints e trechos de código aparecem nas seções abaixo.
1. Visão Geral das 3 Etapas (Arquitetura Unificada)
[8x Câmeras Sony IMX323/307 @ 640x480 MJPG] ---> (2x Hubs USB 3.0 5V/10A)
| |
| (video0 -> video10/11, video7 -> video12/13) +--> [zenith_dvr.py] (DVR VAAPI 50GB)
v
[Etapa A: OpenCV4 + Coral Edge TPU (YOLOv8n INT8)] ---> Detecta Carro, Moto, Pessoa
|
v
[Etapa B: Profundidade Monocular + Deduplicação + ObjectTracker360] -> XYZ (m)
|
+---< (/run/zenith/hub_ingest.sock) <--- [zenith_telemetry.py] + [zenith_bluetooth_agent.py]
|
v
[Hub WebSocket ws://127.0.0.1:8765 @ 60Hz]
|
+---> [Godot Engine 4 Wayland DRM/KMS] (Radar3D.gd + main.tscn)
+---> [Central 3D / Cluster 1920x720] (via FastAPI WS /ws/adas)2. Calibração das 8 Câmeras & Coexistência com DVR (v4l2loopback)
Cada câmera roda em sua própria thread (CameraStreamWorker) com resolução 640×480 em MJPG e buffer 1 para não saturar os controladores USB xHCI. Quando o serviço zenith-v4l2-splitter.service está ativo, /dev/video0 e /dev/video7 são espelhados em /dev/video10 e /dev/video12 (para o ADAS) e /dev/video11 e /dev/video13 (para o DVR).
| Índice | Dispositivo ADAS | Posição (name) |
Ângulo (yaw_deg) |
Offset X (m) |
Offset Z (m) |
|---|---|---|---|---|---|
0 |
/dev/video10 (fallback /dev/video0) |
front_center |
0° |
0.00 |
+2.20 |
1 |
/dev/video1 |
front_left |
-45° |
-0.85 |
+1.90 |
2 |
/dev/video2 |
front_right |
+45° |
+0.85 |
+1.90 |
3 |
/dev/video3 |
side_left |
-90° |
-0.95 |
+0.20 |
4 |
/dev/video4 |
side_right |
+90° |
+0.95 |
+0.20 |
5 |
/dev/video5 |
rear_left |
-135° |
-0.85 |
-2.00 |
6 |
/dev/video6 |
rear_right |
+135° |
+0.85 |
-2.00 |
7 |
/dev/video12 (fallback /dev/video7) |
rear_center |
180° |
0.00 |
-2.25 |
Fórmula de Estimação Monocular (estimate_monocular_xyz)
- Altura real assumida por classe COCO: Pessoa (
0)1.72m, Carro (2/5/7)1.50m / 2.90m / 2.60m, Moto (1/3)1.10m / 1.15m. - Distância radial na lente:
- Ângulo global relativo ao veículo:
- Coordenadas finais no referencial do carro:
3. Inferência Coral Edge TPU & Modelo YOLOv8
- O detector carrega
/opt/zenith/adas/models/yolov8n_edgetpu.tfliteviatflite_runtime.interpreter.Interpretercom o delegatelibedgetpu.so.1(e fallback automático para CPU caso a TPU esteja desconectada). - Saídas INT8/UINT8 são dequantizadas e filtradas por
NMS(cv2.dnn.NMSBoxes), deduplicadas em 360° (deduplicate_360, raio1.25m) e estabilizadas porObjectTracker360para manter IDs consistentes (trk_N) durante a interpolaçãolerp()no Godot.
4. Renderização 3D Nativa em Godot Engine 4 (Wayland / KMS)
- Compositor & Serviço:
seatd.service+weston.service(kiosk-shell.sosobre DRM/KMS) + zenith-hmi.service executando start-hmi.sh. - Projeto Embarcado: project.godot, cena raiz main.tscn e script Radar3D.gd (
--display-driver wayland --rendering-driver opengl3 --fullscreen). - Alerta Visual: Objetos em
distance_m <= 6.0mficam vermelhos (crítico);<= 12.0mficam âmbar (atenção). - Sinais e Comandos:
Radar3D.gdemitetelemetry_updated,tpms_alertemedia_updatedpara o HUD e envia comandos I2C de conforto viasend_body_command(). - BSW Inteligente com Seta (Fase 107):
compute_bsw_alerts()cruzaturn_left/turn_right(MCP23017 0x22 GPA4/5) com detecções laterais do YOLOv8 (side_left/side_right/rear_left/rear_right), disparandobsw_alertvermelho intenso nos LEDs RGB da cabine (zenith_ble_rgb.py +PCA9685) e indicador no Cluster. - LaneWatch PiP Automático (Fase 108): LaneWatchPiP.gd exibe automaticamente a câmera lateral correspondente na Central ao acionar a seta, recolhendo suavemente ao desarmar.
- Pipeline Fake V4L2 + YOLO Desktop (Fase 113): zenith_fake_v4l2.py injeta vídeo
.mp4de dashcam (OpenCV/v4l2loopback) e publica detecções 3D em sincronia para o Radar Godot e BSW via/api/simulator/yolo. - Autoconfiguração Dinâmica de Massa, Sensibilidade YOLO &
.GLB(Fase 118): adas_radar.py e zenith_simulator_core.py ajustam em tempo real o limiarEdgeTpuYoloDetector.conf_thresholdpelo slideradas_cameras.yolo_sensitivity(0.15..0.95) e calculam os envelopes físicosaeb_danger_distance_m/fcw_warning_distance_mconforme o pesomass_kgdo veículo selecionado em zenith_vehicle_db.json. No Godot 4, Radar3D.gd atualizadanger_distance_m/warning_distance_me troca dinamicamente a malhaEgoVehiclepelo.glbcorrespondente viaObjMeshLoader.load_gltf_scene(). - Renderização Esculpida (Veículos, Motos & Pedestres sem Caixas Genéricas): Tanto o cliente Godot (Radar3D.gd / AdasRadar3D.gd via
_build_sculpted_entity) quanto o visor Three.js Central (adasModels3D.ts + Car3DScene.tsx), o Cluster1920×720(AdasRadarSvg.tsx + GhostCluster1920x720.tsx), o simulador (sim_windows.html) e o feed sintético (zenith_fake_v4l2.py) constroem modelos e silhuetas diferenciadas para Carro/Caminhão, Moto com piloto, Pessoa/Pedestre animado e Buraco, preservando"BodyMesh"/"WireframeBox"no Godot para realce de proximidade. - Segurança ADAS no Dia a Dia & Homografia 360° (Fases 120–123 e 131): zenith_safety_adas.py integra no loop de adas_radar.py o
SafeExitAssist(LED vermelho + áudio direcional na porta quando há moto/bicicleta e puxão de maçaneta),LeadVehicleDepartureMonitor("O carro da frente andou"),TrafficSignSpeedRecognizer(placa R-19 e velocímetro laranja#F97316no ClusterWindow.gd) eLaneDepartureDetectorem OpenCV com supressão automática pela seta. Já zenith_birdseye_360.py entrega a visão aérea real por homografia OpenCV das 4 câmeras fisheye. Além disso, as detecções podem ser projetadas em tempo real sobre o Mapa 3D MapLibre via/api/nav/live-objects(offline_nav_service.py). Veja detalhes nos docs 29, 30 e 33.
⬅️ 06 · Instalação · ⬆️ Topo · 📚 Índice · 08 · Buildroot ➡️
Zenith AutoOS 11.0 · Documentação técnica · Novembro de 2026 · README principal