v11.0 · 151 Fases
LLM, Voz & Navegação Fases 139–151 Implementado · ~6 min (1.175 palavras) LLMWhisperPiperMapLibreValhalla
📄 docs/33-llm-voz-neural-visores-adas-mapa-3d-offline.md ↗

33 — Copiloto LLM Offline, Voz Neural (Whisper/Vosk/Piper), Visores ADAS Esculpidos & Mapa 3D MapLibre + Valhalla

Este guia documenta a arquitetura 100% offline de inteligência embarcada, síntese/reconhecimento de voz neural, renderização realista nos visores ADAS e navegação vetorial 3D estilo Tesla integrada com detecções ao vivo no Zenith AutoOS.

Zenith AutoOS: 11.0.0 Fases: 151 Guias: 33 Idioma: PT-BR

Categoria: LLM, Voz & Navegação Fases: 139–151 Status: Implementado LLM: stack Whisper: stack Piper: stack MapLibre: stack Valhalla: stack

🏠 README · 📚 Documentação · ⬅️ 32 · CarPlay/Telegram · 34 · Hardware ➡️

📑 Neste guia — 6 seções · ~6 min de leitura

Copiloto, voz neural e mapa 3D no HMI
Stack offline: Qwen2.5 local, Whisper/Piper, visores ADAS esculpidos e mapa 3D MapLibre + Valhalla.


Arquitetura Integrada 100% Offline

Diagrama Mermaid
flowchart LR
    MIC["Microfone Cabine<br/>(WAV 16kHz Mono / wavRecorder.ts)"] --> STT["Whisper.cpp (ggml-base.bin)<br/>ou Vosk (vosk-model-small-pt)"]
    STT --> NCM["VehicleCognitionEngine<br/>(Qwen2.5-1.5B GGUF + RAG Manuais + DTC OBD)"]
    NCM --> ACT["Ações na Cabine<br/>(Abas, Temas, HomeLink, Rota Valhalla)"]
    NCM --> TTS["Piper Neural ONNX<br/>(pt_BR-faber-medium.onnx -> WAV)"]

    YOLO["8 Câmeras + YOLO / Spoofer V4L2<br/>(Carro, Moto, Pessoa, Buraco)"] --> VIS["Visores 3D & SVG<br/>(Three.js, Cluster 1920x720, Godot 4, Simulador)"]
    YOLO --> PROJ["Projeção Local → GPS<br/>(project_adas_objects_to_gps)"]
    OSM["OSM São Paulo (.osm.pbf)<br/>945.471 Prédios 3D + 88.760 Vias"] --> MVT["osm_vector.mbtiles<br/>(3.314 tiles MVT + 52.882 Locais FTS5)"]
    OSM --> VAL["Valhalla C++ Offline<br/>(69 grafos .gph + Turn-by-Turn)"]
    MVT --> MAP["TeslaMap3D (MapLibre GL JS)<br/>Tematizado + Prédios 3D"]
    VAL --> MAP
    PROJ --> MAP

1. Copiloto LLM Offline (Qwen2.5-1.5B-Instruct GGUF)

  • Download & Binários (bootstrap_assets.py):
    • Modelo quantizado: models/qwen2.5-1.5b-instruct-q4_k_m.gguf (~1.12 GB).
    • Motor de inferência empacotado em tools/llama-cpp/: llama-cli.exe e llama-server.exe (suporte GPU Vulkan + CPU).
  • Motor Cognitivo & RAG (zenith_llm_ncm.py + zenith_dtc_explainer.py):
    • VehicleCognitionEngine indexa os manuais de serviço (etc/zenith/manuals/vehicle_manuals.json) em SQLite WAL e resolve automaticamente o llama-server.exe persistente (/v1/chat/completions, baixa latência) ou llama-cli.exe com saída limpa (clean_llama_cli_output).
    • Contexto OBD-II DTC automático: ao detectar códigos padrão SAE (P0xxx, C0xxx, B0xxx, U0xxx, como P0300), consulta DtcExplainer (etc/zenith/manuals/dtc_knowledge_pt.json) e injeta os fatos técnicos no prompt antes da geração pelo Qwen2.5-1.5B, evitando alucinações mecânicas.
    • Alertas determinísticos de telemetria: antes do retorno da resposta generativa, _telemetry_alert_prefix injeta alertas exatos de tensão baixa (< 12.0 V) e superaquecimento (> 102 °C, convertidos conforme unidade °C/°F do locale).
    • Roteador de intenções (classify_vehicle_intent): comandos de cabine — HomeLink ("abrir garagem"), navegação por voz ("navegar para Parque Ibirapuera"), alternância de temas ("tema cyberpunk", "tema oled", "tema glass"), controle de abas/cluster ("abrir mapa 3D", "modo cluster", "câmera 360") e volume — executam localmente com resposta imediata em linguagem natural e ui_actions estruturadas para o frontend.

2. Reconhecimento e Síntese de Voz Neural (Whisper.cpp + Vosk + Piper)

  • STT 100% Offline:
    • Primário: tools/whisper-cpp/Release/whisper-cli.exe com models/whisper/ggml-base.bin (multi-idioma com whisper_lang dinâmico via zenith_i18n.py).
    • Fallback / Streaming: vosk (models/vosk/vosk-model-small-pt-0.3) e suporte opcional a faster-whisper offline.
    • Normalização automática de WAV (_normalize_wav_to_16k_mono em llm_voice_service.py) para 16 kHz Mono S16_LE a partir de qualquer taxa capturada pelo microfone do navegador.
  • TTS Neural Offline (Piper ONNX):
    • models/tts/pt_BR-faber-medium.onnx reproduzido localmente via piper-tts (PiperVoice) / fallback pyttsx3 ou espeak-ng, retornando audio/wav em POST /api/voice/tts.
  • Interface & Gravação sem Nuvem (VoiceLlmAssistant.tsx + wavRecorder.ts + App.tsx):
    • Captura direta via Web Audio API (startOfflineMicRecording → WAV PCM 16-bit 16 kHz) ao clicar no botão Voz da barra superior ou na aba IA Voz, sem depender da Google Web Speech API.

3. Visores ADAS Esculpidos (Veículos, Motos & Pessoas — Zero Quadrados)

Todos os visores de condução substituem caixas genéricas por modelos e silhuetas identificáveis de carros/caminhões, motos com piloto/capacete, pedestres articulados e buracos:

Camada Arquivos Atualizados Representação Visual
Central Three.js 3D adasModels3D.ts, Car3DScene.tsx Grupos 3D multi-parte (createAdasObjectMesh) com rodas giratórias, faróis/lanternas, piloto de moto, pedestre caminhando animado, faixas de rolamento e modo adas (Visor ADAS 360°).
Cluster 1920×720 (cluster-ui) AdasRadarSvg.tsx, ClusterLayouts.tsx Radar vetorial SVG top-down nos layouts Virtual Cockpit e Lexus Optitron.
Cluster Web Integrado (frontend) GhostCluster1920x720.tsx, App.tsx Mini-radar ADAS embarcado acima da barra TPMS recebendo adasObjects ao vivo.
Godot Engine 4 ADAS AdasRadar3D.gd, Radar3D.gd _build_sculpted_entity constrói chassi/cabine/4 rodas para "Carro", 2 rodas/quadro/piloto/capacete para "Moto", torso/cabeça/pernas/braços para "Pessoa"/"Pedestre" e disco de alerta para "Buraco", preservando "BodyMesh" e "WireframeBox".
Simulador & Feed V4L2 sim_windows.html, zenith_fake_v4l2.py Radar SVG #cAdasSvg no cluster simulado + desenho e emissão contínua de silhuetas de Carro, Moto e Pessoa no feed sintético.

4. Mapa 3D Estilo Tesla (MapLibre GL JS + OSM 3D Buildings + Valhalla Offline)

  • Pipeline Construtor Offline (build_offline_maps.py):
    • Baixa sao-paulo-latest.osm.pbf e recorta a Região Metropolitana de São Paulo (bbox = (-46.76, -23.66, -46.50, -23.48) → data/nav/saopaulo_metro.osm.pbf).
    • Vector Tiles MVT (data/nav/osm_vector.mbtiles, zooms 12–15, 50 MB / 3.314 tiles): codificados via osmium + shapely + mapbox-vector-tile com 945.471 prédios 3D (height, min_height, levels), 88.760 vias, 11.124 áreas verdes/parques, 266 espelhos d'água e 29.820 POIs.
    • Roteamento C++ Offline Valhalla (data/nav/valhalla_tiles/, 69 grafos .gph + data/nav/valhalla.json): compilado via valhalla_build_tiles.exe (pyvalhalla) e executado localmente por valhalla.Actor sem rede.
    • Geocoder FTS5 & Fontes PBF Locais: data/nav/places.sqlite (places_fts, 52.882 logradouros e POIs indexados) + 15 arquivos PBF de Noto Sans Regular, Noto Sans Medium e Noto Sans Italic em data/nav/glyphs/.
  • Estilização Dinâmica por Tema & Objetos ao Vivo (offline_nav_service.py + TeslaMap3D.tsx):
    • GET /api/nav/style.json gera um Style JSON MapLibre (version: 8) sincronizado automaticamente com glassmorphism, cyberpunk_neon e minimalist_oled, primary_hex, accent_hex e night_mode, com extrusão 3D (fill-extrusion camada osm-buildings-3d) em pitch: 62°.
    • Projeta em tempo real o veículo Ego, os radares de velocidade offline (/api/nav/radars) e todos os veículos, motos, pedestres e buracos detectados pelo ADAS diretamente sobre as coordenadas GPS do mapa 3D (project_adas_objects_to_gps).
    • Permite busca FTS5 offline, clique em qualquer ponto do mapa 3D ou comando de voz ("navegar para ..."), desenhando a rota Valhalla (polyline6 decodificada) com instruções turn-by-turn e leitura falada pelo Piper TTS.

5. Comandos Rápidos

powershell
# 1. Na raiz do repositório, baixar modelos LLM (Qwen2.5-1.5B), Whisper, Vosk, Piper e binários offline:
.\backend\.venv\Scripts\python.exe demo\bootstrap_assets.py

# 2. Compilar mapas 3D OSM MVT + grafos Valhalla + places.sqlite FTS5 + glifos PBF:
.\backend\.venv\Scripts\python.exe demo\build_offline_maps.py

# 3. Validar suítes de testes e builds de produção:
Push-Location backend; .\.venv\Scripts\python.exe -m pytest tests/test_api.py -v; Pop-Location
.\backend\.venv\Scripts\python.exe -m unittest -v tests.test_zenith_fases_120_138 tests.test_zenith_db_builder tests.test_zenith_embedded
Push-Location frontend; npm run build; Pop-Location
Push-Location cluster-ui; npm run build; Pop-Location

⬅️ 32 · CarPlay/Telegram · ⬆️ Topo · 📚 Índice · 34 · Hardware ➡️

Zenith AutoOS 11.0 · Documentação técnica · Novembro de 2026 · README principal