SandboxIA na Educação
Voltar à página inicial

Ciclo de testagem

Um processo comum, em quatro fases

Todo sandbox do NEES segue o mesmo processo, seja para uma solução do órgão, de um parceiro ou desenvolvida pelo próprio NEES. Cada fase termina em um portão de decisão: só se avança quando os critérios pactuados foram cumpridos.

Da preparação à decisão

Cinco passos para conduzir a testagem

O processo organiza as atividades necessárias para transformar uma solução promissora em uma decisão fundamentada.

  1. 1

    Escolher o problema

    Selecionar a solução e o resultado que se quer verificar.

  2. 2

    Confirmar prontidão

    Checar versão, dados, equipe, autorizações e riscos.

  3. 3

    Pactuar o protocolo

    Definir comparador, medidas, limites e supervisão.

  4. 4

    Testar e corrigir

    Observar resultados e falhas, ajustar e repetir quando necessário.

  5. 5

    Decidir com evidências

    Documentar condições para usar, ampliar, corrigir ou parar.

Visão geral

Da preparação à decisão

O ciclo organiza a testagem em quatro fases conectadas por portões de decisão. Cada etapa precisa cumprir seus critérios antes de avançar.

Fase 1

Desenho

Mês 1

Problema, solução, dados e equipe

Entrada confirmada

Fase 2

Preparação

Mês 2

Ambiente e protocolo

Protocolo aprovado

Fase 3

Experimentação

Meses 3 a 5

Testes, falhas, correções e repetição

Avançar ou corrigir

Fase 4

Evidência

Mês 6

Dossiê, recomendação e transferência

Decisão registrada pelo órgão

Progressão técnica da testagem

Nível 1

Dados históricos

Nível 2

Simulação

Nível 3

Observação em paralelo

Sem orientar condutas

Nível 4

Piloto real

Só se autorizado

Etapas do ciclo

As quatro fases

Cada fase possui objetivos, atividades e entregas próprias. A passagem para a próxima depende do cumprimento dos critérios definidos.

Fase 1 · Mês 1

Desenho

Transformar o interesse em uma pergunta testável.

⌄

O que acontece

Seleção da solução, definição do problema e do resultado esperado, confirmação de dados, equipe e viabilidade (diagnóstico de prontidão).

Perguntas-guia

  • Que decisão o resultado vai apoiar?
  • Existe versão testável e um responsável por ela?
  • Os dados estão acessíveis e autorizados?
  • Há especialistas do domínio envolvidos?

Entregas

Plano do ciclo; critérios de elegibilidade e matriz de riscos.

Portão de decisão

Entrada confirmada. Dados e solução aptos. Se o diagnóstico não confirmar a prontidão, o órgão recebe um plano de adequação e decide entre reformular, suspender ou contratar depois.

Fase 2 · Mês 2

Preparação

Fixar as regras do teste antes de começar.

⌄

O que acontece

Configuração do ambiente e pactuação do protocolo: rotina atual como comparador, medidas de resultado, subgrupos, limites de erro e regras de interrupção. Também é elaborado o plano de proteção de dados.

Perguntas-guia

  • Contra o que vamos comparar?
  • Quais medidas definem sucesso?
  • Quando o teste deve parar?
  • Quem acessa quais dados?

Entregas

Protocolo de teste; ambiente configurado e plano de proteção de dados.

Portão de decisão

Teste autorizado. O protocolo precisa estar aprovado antes do início da experimentação.

Fase 3 · Meses 3 a 5

Experimentação

Observar a solução em condições definidas e corrigir o que falhar.

⌄

O que acontece

Execução dos testes, registro de falhas, incidentes e correções. Os achados voltam ao responsável pela solução e, quando necessário, o teste é repetido.

Perguntas-guia

  • A solução se mantém dentro dos limites de risco?
  • As falhas foram corrigidas e retestadas?
  • Há diferenças entre grupos ou territórios?
  • A equipe consegue interpretar e usar os resultados?

Entregas

Registro de testes, falhas, incidentes e correções realizadas.

Portão de decisão

Avançar ou corrigir. Os limites de risco precisam permanecer monitorados. Quando necessário, a solução é corrigida e testada novamente antes de avançar.

Fase 4 · Mês 6

Evidência

Transformar os resultados do teste em uma decisão.

⌄

O que acontece

Consolidação dos resultados, elaboração do relatório técnico e da síntese executiva, recomendação sobre o uso da solução e formação da equipe, com guia para novos ciclos.

Perguntas-guia

  • O que funcionou e o que falhou?
  • Em que condições o uso é seguro?
  • Que etapas adicionais, como autorizações ou pilotos, são necessárias?

Entregas

Relatório técnico e síntese executiva; recomendação; guia para novos ciclos.

Portão de decisão

Decisão do órgão responsável registrada. A recomendação documenta as condições de uso e os próximos passos.

Critérios de avaliação

O que medimos durante a testagem

A avaliação considera diferentes dimensões para compreender não apenas o desempenho técnico, mas também os riscos, as limitações e a utilidade da solução no contexto avaliado.

Desempenho

Acertos, erros e falsos alertas.

Equidade

Diferenças de desempenho entre grupos e territórios.

Segurança e riscos

Incidentes, limites de erro e regras de interrupção.

Dados e integração

Consistência dos dados e funcionamento das integrações.

Utilidade operacional

Se profissionais e serviços conseguem interpretar e usar os resultados.

Limitações e incerteza

O que o teste não permite afirmar.

Custos

Custos observáveis no recorte avaliado.

Um limite importante

Testar não significa comprovar todos os benefícios

O teste técnico mostra se a solução funciona no recorte avaliado. Benefício clínico ou pedagógico depende de desenho e tempo adequados, e não é demonstrado por um ciclo técnico. A decisão final é sempre do órgão responsável.

← Voltar ao mapa
← Experiência com o MECCronograma