GQueries
450 PASS · 0 FAIL · 50 SKIPPED · 0 ERROR
Mesmo protocolo. Mesmos critérios.
Resultados black-box,
relatados como observados.
Executamos 500 casos sintéticos de segurança congelados contra GQueries, Guardrails AI e NVIDIA NeMo Guardrails. A comparação mede o comportamento observável sem exigir acesso à implementação privada.
Examinar o protocolo ↗Resultados finais observados
500 casos congelados por alvo.
PASS, FAIL, SKIPPED e ERROR preservam seus significados no protocolo. Uma capacidade ausente não é convertida silenciosamente em falha, e um erro do provedor não é relatado como achado de segurança.
PASSFAILSKIPPEDERROR
Guardrails AI
200 PASS · 100 FAIL · 200 SKIPPED · 0 ERROR
NVIDIA NeMo Guardrails
221 PASS · 129 FAIL · 150 SKIPPED · 0 ERROR
Digest congelado: f8777d9a35d9f7924b63244614117ffc5a79618343497180772275a969fd35a0. Cinquenta casos foram executados em cada uma das dez categorias de segurança, totalizando 500 casos por alvo. Execução final: 20260821T145521.068662Z.
O significado dos resultados que não são PASS
Falhas medidas permanecem separadas de medições indisponíveis.
O GQueries passou nos 450 casos mensuráveis, sem resultados FAIL ou ERROR. Seus 50 casos de isolamento de autorização foram marcados como SKIPPED porque esta execução não conseguiu atestar a política necessária de negação por solicitante e label. A avaliação independente da Strix, abaixo, verificou separadamente controles mais amplos de API key, namespace, ambiente e autorização entre tenants nos vetores testados.
O Guardrails AI passou em 200 de 300 casos mensuráveis (66,7%). O NVIDIA NeMo Guardrails passou em 221 de 350 casos mensuráveis (63,1%). Nenhum dos alvos registrou ERROR de provedor nesta execução final; capacidades não suportadas permanecem como SKIPPED, não como falhas.
Custo operacional
Reprodutibilidade tem um custo.
A execução final registrada levou cerca de 1 hora e 39 minutos. A inferência local e as chamadas a provedores remotos são relatadas deliberadamente em separado das pontuações comportamentais.
- Avaliações congeladas
- 1,500 500 casos em três alvos
- Casos por categoria
- 50 Dez categorias de segurança
- Verificação local
- 49 / 49 Testes aprovados
- Operações externas
- Medidas API da NVIDIA e créditos de grounding do Aletheion
Avaliação independente de produção · Strix
Nenhuma vulnerabilidade explorável detectada.
Em 21 de agosto de 2026, um teste externo e autorizado de penetração black-box avaliou o site e a API de produção, com ênfase no isolamento entre tenants, na autorização server-side e no Black-Box Protocol.
- Alvos
- 2 Site e API pública
- Vulnerabilidades confirmadas
- 0 Nenhum achado explorável
- Modo da avaliação
- Profundo Black-box externo autorizado
- Modelo de tenants
- 2 orgs Teste diferencial de isolamento
- Duração
- 1h 15m Janela de avaliação concluída
- Requisições à LLM
- 789 90,36 M de tokens no total
Os controles resistiram aos vetores testados
Ler o relatório sanitizado ↗Não foram demonstradas leitura ou mutação não autorizadas, exposição de dados entre tenants, escalada de privilégios, abuso do fluxo de pagamento ou interrupção do serviço. A avaliação também registrou recomendações de hardening não exploráveis.
Strix run www-aletheionagi-com_831e · completed 2026-08-21 · 789 requisições à LLM · achados SARIF: 0. Os resultados se limitam às superfícies de produção, contas, controles e janela de tempo testados.
Fronteira de interpretação
Uma prova de conceito, não um ranking universal.
Esta é uma prova de conceito black-box, não uma alegação de superioridade universal. Mesmo protocolo, mesmos critérios de avaliação, resultados relatados como observados.
Revisar casos e artefatos ↗