Metodologia
De onde vem cada número da central, quantas etapas ele percorre antes de aparecer, o que o sistema recusa no caminho e onde a cobertura ainda tem buraco. A metodologia inteira, sem depender de abrir tela por tela.
O princípio
Toda ocorrência no mapa e todo número nos painéis carregam a origem (órgão, instituto ou veículo) e o período a que se referem, e a tela exibe os dois. Tudo abaixo é consequência dessa regra: as três formas de entrada de dado existem para preservá-la, e o que não passa por uma delas não é publicado.
Um dado chega à central por um de três caminhos. Cada um tem um grau diferente de automação e um ponto diferente onde uma pessoa decide.
Entrada 1
Uma função agendada bate, a cada três horas, nas APIs abertas de órgãos federais e traduz o que está ativo agora para a taxonomia da central. O conector para no arquivo de rascunho: não grava no banco, não resolve coordenada, não deduplica. Essa parte é da ingestão, que é auditável e reprocessável. Cada recoleta atualiza o mesmo registro (severidade que subiu, prazo que esticou) em vez de criar um novo.
Entrada 2
Onde não há API federal (rodovia interditada, apagão, enchente urbana, seca decretada, crime noticiado), a central lê RSS de veículos: quatro fontes nacionais, o G1 de cada estado e de uma a três publicações locais por UF cobrindo as cidades acima de 100 mil habitantes. O rastreio junta candidatos; a triagem decide, um a um, o que é ocorrência real, adapta e ingere. Nenhum texto de terceiro é republicado: só o fato, a cidade e o link para a matéria de origem.
Entrada 3
Os painéis vêm de coletores que só fazem uma requisição a um portal público e mesclam o resultado sobre um snapshot versionado no repositório. Um portal do governo fora do ar é esperado: o snapshot cobre, e o número preservado aparece marcado como tal. Nenhum coletor escreve no banco nem interpreta o dado: a série histórica é a verdade, e os recortes por estado e o número nacional são derivados dela.
Cada linha é uma API pública de órgão federal lida automaticamente. A coluna à direita diz que tipo de ocorrência a fonte alimenta.
Cada painel declara suas fontes na própria página. A lista abaixo é a mesma, reunida num lugar só.
Entre o rascunho e o pino, todo registro passa por estas etapas: as mesmas para o que veio de conector e para o que veio da triagem.
Todo rascunho passa por um schema estrito antes de qualquer escrita. Campo fora do formato, tipo de ocorrência inexistente ou fonte sem link é recusado ali.
A central está na fase 1. Nenhum tipo de ocorrência à frente dessa fase entra no banco: o schema recusa. Subir esse número é decisão de produto, não efeito colateral de uma ingestão.
O ponto vem do nome do município conferido contra a malha do IBGE. Município inexistente vira erro com sugestão, não um pino no lugar errado.
A granularidade do tipo arredonda o ponto antes de gravar. A coordenada precisa não chega a ser salva: é o que impede o mapa de apontar um endereço identificável.
Dois registros do mesmo fato colapsam num só. Fonte que republica de hora em hora carrega uma chave estável para atualizar o mesmo documento em vez de multiplicá-lo.
O título de cada ocorrência é montado a partir do tipo e da cidade (“Roubo em Sorocaba”). Não há campo de texto livre de usuário no produto.
O pino de evento vive por um prazo curto e sai do mapa quando vence. O registro que se acumula ao longo do tempo é o agregado mensal.
Um recorte à parte
Os pontos de crime vêm só de notícia de veículo local, um fato por matéria, com a URL da matéria como chave: cinco roubos noticiados na mesma cidade no mesmo dia são cinco pontos, não um. O schema proíbe resumo em texto: é estruturalmente só fato, sem prosa e sem nome de ninguém. Esse tema fica fora do mapa geral e das páginas de estado de propósito. Para a série oficial há dois painéis: o do Mapa do Crime (SINESP VDE) e o de Segurança (Atlas da Violência).
Nenhuma camada de dado é completa. Estas são as fronteiras que valem ter em mente antes de tirar uma conclusão de uma tela.
Algumas cidades acima de 100 mil habitantes ainda só têm o G1 estadual como fonte, e portais que bloqueiam leitura automática ficam de fora. Menos pontos numa região pode ser menos noticiário, não menos evento.
Cada ponto de crime vem de uma matéria de veículo local, um fato por matéria. Serve para mostrar o que a imprensa registrou numa região; não substitui o boletim da secretaria de segurança nem o SINESP. A série oficial está nos painéis.
Cada série anda no passo da fonte: semanas para preço de combustível, meses ou mais de um ano para PIB, mortalidade e homicídio. A página do indicador sempre mostra o período de referência do último dado.
Parte das taxas do painel de segurança é calculada no recorte de capital e usada como aproximação do estado. Isso está dito na descrição de cada indicador.
Os conectores rodam a cada três horas. A triagem de imprensa roda sob demanda, várias vezes ao dia. A coleta de indicadores roda por rodada, no passo de cada fonte. Erro identificado é corrigido e fica registrado na página de correções; para apontar um, use este caminho.