33 — Copiloto LLM Offline, Voz Neural (Whisper/Vosk/Piper), Visores ADAS Esculpidos & Mapa 3D MapLibre + Valhalla
Este guia documenta a arquitetura 100% offline de inteligência embarcada, síntese/reconhecimento de voz neural, renderização realista nos visores ADAS e navegação vetorial 3D estilo Tesla integrada com detecções ao vivo no Zenith AutoOS.
🏠 README · 📚 Documentação · ⬅️ 32 · CarPlay/Telegram · 34 · Hardware ➡️
📑 Neste guia — 6 seções · ~6 min de leitura
- Arquitetura Integrada 100% Offline
- 1. Copiloto LLM Offline (Qwen2.5-1.5B-Instruct GGUF)
- 2. Reconhecimento e Síntese de Voz Neural (Whisper.cpp + Vosk + Piper)
- 3. Visores ADAS Esculpidos (Veículos, Motos & Pessoas — Zero Quadrados)
- 4. Mapa 3D Estilo Tesla (MapLibre GL JS + OSM 3D Buildings + Valhalla Offline)
- 5. Comandos Rápidos
Stack offline: Qwen2.5 local, Whisper/Piper, visores ADAS esculpidos e mapa 3D MapLibre + Valhalla.
Arquitetura Integrada 100% Offline
flowchart LR
MIC["Microfone Cabine<br/>(WAV 16kHz Mono / wavRecorder.ts)"] --> STT["Whisper.cpp (ggml-base.bin)<br/>ou Vosk (vosk-model-small-pt)"]
STT --> NCM["VehicleCognitionEngine<br/>(Qwen2.5-1.5B GGUF + RAG Manuais + DTC OBD)"]
NCM --> ACT["Ações na Cabine<br/>(Abas, Temas, HomeLink, Rota Valhalla)"]
NCM --> TTS["Piper Neural ONNX<br/>(pt_BR-faber-medium.onnx -> WAV)"]
YOLO["8 Câmeras + YOLO / Spoofer V4L2<br/>(Carro, Moto, Pessoa, Buraco)"] --> VIS["Visores 3D & SVG<br/>(Three.js, Cluster 1920x720, Godot 4, Simulador)"]
YOLO --> PROJ["Projeção Local → GPS<br/>(project_adas_objects_to_gps)"]
OSM["OSM São Paulo (.osm.pbf)<br/>945.471 Prédios 3D + 88.760 Vias"] --> MVT["osm_vector.mbtiles<br/>(3.314 tiles MVT + 52.882 Locais FTS5)"]
OSM --> VAL["Valhalla C++ Offline<br/>(69 grafos .gph + Turn-by-Turn)"]
MVT --> MAP["TeslaMap3D (MapLibre GL JS)<br/>Tematizado + Prédios 3D"]
VAL --> MAP
PROJ --> MAP1. Copiloto LLM Offline (Qwen2.5-1.5B-Instruct GGUF)
- Download & Binários (bootstrap_assets.py):
- Modelo quantizado:
models/qwen2.5-1.5b-instruct-q4_k_m.gguf(~1.12 GB). - Motor de inferência empacotado em
tools/llama-cpp/:llama-cli.exeellama-server.exe(suporte GPU Vulkan + CPU).
- Modelo quantizado:
- Motor Cognitivo & RAG (zenith_llm_ncm.py + zenith_dtc_explainer.py):
VehicleCognitionEngineindexa os manuais de serviço (etc/zenith/manuals/vehicle_manuals.json) em SQLite WAL e resolve automaticamente ollama-server.exepersistente (/v1/chat/completions, baixa latência) oullama-cli.execom saída limpa (clean_llama_cli_output).- Contexto OBD-II DTC automático: ao detectar códigos padrão SAE (
P0xxx,C0xxx,B0xxx,U0xxx, comoP0300), consultaDtcExplainer(etc/zenith/manuals/dtc_knowledge_pt.json) e injeta os fatos técnicos no prompt antes da geração pelo Qwen2.5-1.5B, evitando alucinações mecânicas. - Alertas determinísticos de telemetria: antes do retorno da resposta generativa,
_telemetry_alert_prefixinjeta alertas exatos de tensão baixa (< 12.0 V) e superaquecimento (> 102 °C, convertidos conforme unidade°C/°Fdo locale). - Roteador de intenções (
classify_vehicle_intent): comandos de cabine — HomeLink ("abrir garagem"), navegação por voz ("navegar para Parque Ibirapuera"), alternância de temas ("tema cyberpunk","tema oled","tema glass"), controle de abas/cluster ("abrir mapa 3D","modo cluster","câmera 360") e volume — executam localmente com resposta imediata em linguagem natural eui_actionsestruturadas para o frontend.
2. Reconhecimento e Síntese de Voz Neural (Whisper.cpp + Vosk + Piper)
- STT 100% Offline:
- Primário:
tools/whisper-cpp/Release/whisper-cli.execommodels/whisper/ggml-base.bin(multi-idioma comwhisper_langdinâmico viazenith_i18n.py). - Fallback / Streaming:
vosk(models/vosk/vosk-model-small-pt-0.3) e suporte opcional afaster-whisperoffline. - Normalização automática de WAV (
_normalize_wav_to_16k_monoem llm_voice_service.py) para 16 kHz Mono S16_LE a partir de qualquer taxa capturada pelo microfone do navegador.
- Primário:
- TTS Neural Offline (
Piper ONNX):models/tts/pt_BR-faber-medium.onnxreproduzido localmente viapiper-tts(PiperVoice) / fallbackpyttsx3ouespeak-ng, retornandoaudio/wavemPOST /api/voice/tts.
- Interface & Gravação sem Nuvem (VoiceLlmAssistant.tsx + wavRecorder.ts + App.tsx):
- Captura direta via Web Audio API (
startOfflineMicRecording→ WAV PCM 16-bit 16 kHz) ao clicar no botão Voz da barra superior ou na aba IA Voz, sem depender da Google Web Speech API.
- Captura direta via Web Audio API (
3. Visores ADAS Esculpidos (Veículos, Motos & Pessoas — Zero Quadrados)
Todos os visores de condução substituem caixas genéricas por modelos e silhuetas identificáveis de carros/caminhões, motos com piloto/capacete, pedestres articulados e buracos:
| Camada | Arquivos Atualizados | Representação Visual |
|---|---|---|
| Central Three.js 3D | adasModels3D.ts, Car3DScene.tsx | Grupos 3D multi-parte (createAdasObjectMesh) com rodas giratórias, faróis/lanternas, piloto de moto, pedestre caminhando animado, faixas de rolamento e modo adas (Visor ADAS 360°). |
Cluster 1920×720 (cluster-ui) |
AdasRadarSvg.tsx, ClusterLayouts.tsx | Radar vetorial SVG top-down nos layouts Virtual Cockpit e Lexus Optitron. |
Cluster Web Integrado (frontend) |
GhostCluster1920x720.tsx, App.tsx | Mini-radar ADAS embarcado acima da barra TPMS recebendo adasObjects ao vivo. |
| Godot Engine 4 ADAS | AdasRadar3D.gd, Radar3D.gd | _build_sculpted_entity constrói chassi/cabine/4 rodas para "Carro", 2 rodas/quadro/piloto/capacete para "Moto", torso/cabeça/pernas/braços para "Pessoa"/"Pedestre" e disco de alerta para "Buraco", preservando "BodyMesh" e "WireframeBox". |
| Simulador & Feed V4L2 | sim_windows.html, zenith_fake_v4l2.py | Radar SVG #cAdasSvg no cluster simulado + desenho e emissão contínua de silhuetas de Carro, Moto e Pessoa no feed sintético. |
4. Mapa 3D Estilo Tesla (MapLibre GL JS + OSM 3D Buildings + Valhalla Offline)
- Pipeline Construtor Offline (build_offline_maps.py):
- Baixa
sao-paulo-latest.osm.pbfe recorta a Região Metropolitana de São Paulo (bbox = (-46.76, -23.66, -46.50, -23.48)→data/nav/saopaulo_metro.osm.pbf). - Vector Tiles MVT (
data/nav/osm_vector.mbtiles, zooms 12–15, 50 MB / 3.314 tiles): codificados viaosmium+shapely+mapbox-vector-tilecom 945.471 prédios 3D (height,min_height,levels), 88.760 vias, 11.124 áreas verdes/parques, 266 espelhos d'água e 29.820 POIs. - Roteamento C++ Offline Valhalla (
data/nav/valhalla_tiles/, 69 grafos.gph+data/nav/valhalla.json): compilado viavalhalla_build_tiles.exe(pyvalhalla) e executado localmente porvalhalla.Actorsem rede. - Geocoder FTS5 & Fontes PBF Locais:
data/nav/places.sqlite(places_fts, 52.882 logradouros e POIs indexados) + 15 arquivos PBF deNoto Sans Regular,Noto Sans MediumeNoto Sans Italicemdata/nav/glyphs/.
- Baixa
- Estilização Dinâmica por Tema & Objetos ao Vivo (offline_nav_service.py + TeslaMap3D.tsx):
GET /api/nav/style.jsongera um Style JSON MapLibre (version: 8) sincronizado automaticamente comglassmorphism,cyberpunk_neoneminimalist_oled,primary_hex,accent_hexenight_mode, com extrusão 3D (fill-extrusioncamadaosm-buildings-3d) empitch: 62°.- Projeta em tempo real o veículo Ego, os radares de velocidade offline (
/api/nav/radars) e todos os veículos, motos, pedestres e buracos detectados pelo ADAS diretamente sobre as coordenadas GPS do mapa 3D (project_adas_objects_to_gps). - Permite busca FTS5 offline, clique em qualquer ponto do mapa 3D ou comando de voz (
"navegar para ..."), desenhando a rota Valhalla (polyline6decodificada) com instruções turn-by-turn e leitura falada pelo Piper TTS.
5. Comandos Rápidos
# 1. Na raiz do repositório, baixar modelos LLM (Qwen2.5-1.5B), Whisper, Vosk, Piper e binários offline:
.\backend\.venv\Scripts\python.exe demo\bootstrap_assets.py
# 2. Compilar mapas 3D OSM MVT + grafos Valhalla + places.sqlite FTS5 + glifos PBF:
.\backend\.venv\Scripts\python.exe demo\build_offline_maps.py
# 3. Validar suítes de testes e builds de produção:
Push-Location backend; .\.venv\Scripts\python.exe -m pytest tests/test_api.py -v; Pop-Location
.\backend\.venv\Scripts\python.exe -m unittest -v tests.test_zenith_fases_120_138 tests.test_zenith_db_builder tests.test_zenith_embedded
Push-Location frontend; npm run build; Pop-Location
Push-Location cluster-ui; npm run build; Pop-Location⬅️ 32 · CarPlay/Telegram · ⬆️ Topo · 📚 Índice · 34 · Hardware ➡️
Zenith AutoOS 11.0 · Documentação técnica · Novembro de 2026 · README principal