Pular para o conteúdo principal

Compartilhe

OSINT Data Science — Coletando e Analisando Fontes Abertas com Python e R

Mini Curso OSINT Data Science: Coleta e Análise de Fontes Abertas com Python e R | RDS @RDSWEB Mini Curso: OSINT Data Science — Coletando e Analisando Fontes Abertas com Python e R Um roteiro prático para transformar dados públicos dispersos em inteligência estruturada, usando o mesmo ciclo que times de CTI e investigação defensiva aplicam todos os dias: coletar melhor, organizar melhor, analisar melhor. OSINT (Open Source Intelligence) deixou de ser apenas "buscar no Google". Hoje, a diferença entre um analista iniciante e um analista sênior está na engenharia de dados por trás da coleta: como você estrutura o que encontra, como automatiza a repetição e como extrai padrões que um olhar manual não vê. Este mini curso conecta OSINT clássico a Data Science aplicada, com foco em Python (coleta) e R (análise/visualização). Módulo 1 — O Ciclo OSINT como Pipeline de Dados Pense no ciclo de inteligência clássico (Direção → Coleta → Processamen...

OSINT AUDITORIA







A Era da Auditoria: OSINT no Orçamento Federal, Transferência de Riqueza e Custo da Crise | RDS @RDSWEB 💬 WhatsApp
RDS @RDSWEB · OSINT · CTI · Auditoria de Dados Públicos

A Era da Auditoria Começou

Redirecionamento de foco: Orçamento Federal · Transferência de Riqueza · Custo Real da Crise — sem opinião, apenas comprovante.

Este feed muda de eixo. Deixamos de lado a análise opinativa para operar exclusivamente sobre evidência auditável: dados abertos, documentos primários, registros públicos e cadeia de custódia da informação. O objeto passa a ser um só — o dinheiro público, de onde ele sai, para onde ele vai, e o que ele custa a quem paga a conta.

Regra de trabalho: toda alegação publicada neste espaço precisa apontar para uma fonte primária rastreável — portal oficial, diário oficial, planilha aberta, protocolo de LAI ou documento arquivado (Wayback Machine). Sem fonte primária, não é comprovante — é opinião. E opinião não é mais o produto.

Por que "era da auditoria"

O ciclo orçamentário brasileiro gera, todos os anos, um volume massivo de dados estruturados e semiestruturados — empenhos, liquidações, pagamentos, convênios, emendas parlamentares, renúncias fiscais, transferências constitucionais. A maior parte disso está publicada, mas dispersa, mal indexada e raramente cruzada entre si. OSINT aplicado a finanças públicas não "descobre" nada secreto — ele faz o trabalho que a dispersão institucional impede que qualquer cidadão faça sozinho: correlacionar.

A metodologia aqui é a mesma que aplico em investigação defensiva corporativa e CTI, adaptada para a esfera fiscal: entidade → transformação → pivô → grafo, com validação cruzada em múltiplas fontes antes de qualquer conclusão ser publicada.

Fontes primárias — onde o comprovante mora no Brasil

Nível federal — orçamento, execução e dívida

FonteO que audita
Portal da Transparência (CGU)Execução orçamentária, despesas, servidores, convênios, sanções, beneficiários de programas sociais
SIAFI / Tesouro GerencialExecução financeira detalhada da União, empenho–liquidação–pagamento
Tesouro TransparenteDívida pública, resultado fiscal, RREO/RGF, renúncias fiscais (gasto tributário)
TransfereGov (ex-SICONV)Convênios e transferências voluntárias União–estados–municípios
PNCP — Portal Nacional de Contratações PúblicasLicitações, contratos e atas de todos os entes federativos em base unificada (Lei 14.133/2021)
Painel do Orçamento Federal (Senado)LOA, emendas parlamentares (RP2/RP6/RP8/RP9), execução por autor
Câmara dos Deputados — Dados AbertosCota parlamentar (CEAP), proposições, votações nominais, emendas individuais
Diário Oficial da União (in.gov.br)Atos, nomeações, contratos, portarias — publicação legal primária
Receita Federal — Dados Abertos / CNPJQuadro societário, natureza jurídica, situação cadastral de beneficiários
Banco Central — SGS / Focus / RFBSéries fiscais e monetárias, dívida/PIB, custo da rolagem da dívida pública
IBGE — SIDRA / Contas NacionaisIndicadores socioeconômicos para medir impacto distributivo real
TCU — e-TCU / Contas de GovernoAcórdãos, achados de auditoria, apontamentos de irregularidade
Lei de Acesso à Informação (e-SIC / Fala.BR)Solicitação formal do dado que não está aberto por padrão, em qualquer esfera

Previdência, benefícios e folha

FonteO que audita
INSS / Dataprev — Painel de Monitoramento de BenefíciosConcessões, revisões, fraudes e descontos associativos em benefícios previdenciários
Portal da Transparência — Bolsa Família/Auxílio Brasil e afinsBeneficiários por CPF anonimizado, valor, município, cruzamento com folha de servidores
Painel Estatístico de Pessoal (PEP) — servidores federaisFolha de pagamento, cargos, vínculos e acúmulos no Executivo federal

Judiciário e política

FonteO que audita
CNJ — DataJud / Justiça em NúmerosCusto do Judiciário, produtividade, precatórios e RPVs pendentes
TSE — DivulgaCandContasFinanciamento de campanha, fundo eleitoral/partidário, prestação de contas de candidatos e partidos

Estados e municípios

FonteO que audita
Portais estaduais de transparência (um por UF)Execução orçamentária estadual — folha, contratos, convênios, dívida do estado
Tribunais de Contas estaduais e municipais (TCEs/TCMs)Auditorias, pareceres prévios de contas de prefeitos e governadores, achados locais
SICONFI (Tesouro Nacional) — Finbra/RREO/RGF municipalBase consolidada de finanças de todos os municípios brasileiros, comparável entre si
Portais municipais de transparência (LC 131/2009)Execução local — a ponta onde o recurso federal repassado efetivamente aterrissa

Ferramentas OSINT — stack técnico

Coleta e cruzamento de dados abertos

  • Google Dorking replicado em Google, Bing, Brave Search, Yandex e DuckDuckGo — site:gov.br filetype:pdf, site:transparencia.gov.br, filetype:xlsx OR filetype:csv "emenda parlamentar"
  • Wayback Machine / cache — para reconstruir dados removidos ou alterados de portais públicos ao longo do tempo
  • APIs oficiais do Portal da Transparência e do Tesouro Transparente para extração estruturada em lote
  • ReceitaWS, Casa dos Dados, CNPJ.biz — enriquecimento de CNPJ (sócios, capital social, data de abertura) de beneficiários de convênios e contratos
  • DNSDumpster / WHOIS / whoxy.com — quando a trilha exige mapear infraestrutura digital de entidades e OSCIPs envolvidas em repasses

Modelagem e análise de vínculos

  • Maltego — lógica entidade→transformação→pivô→grafo para mapear relações entre CNPJs, sócios, contratos e emendas
  • NetworkX (Python) — modelagem de grafo de fluxo de recursos quando o volume excede o que ferramentas visuais comportam
  • Gephi — visualização de rede para grafos grandes (milhares de nós de beneficiários/contratos)
  • Power BI / Tableau — dashboards de série temporal para comparar execução orçamentária entre exercícios

Ferramentas de dados públicos com IA embarcada

  • Operação Serenata de Amor — robô open source (Rosie/Jarbas) que audita gastos de parlamentares com aprendizado de máquina, referência brasileira de accountability automatizado
  • OCR com IA para digitalizar e extrair texto de documentos escaneados (diários oficiais antigos, processos em PDF-imagem) antes de qualquer análise ser possível
  • Modelos de linguagem (LLM) para extração de entidades em contratos e editais — identificar CNPJ, valores, prazos e partes automaticamente em documentos longos e não padronizados
  • Claude API / Claude Code — usado aqui internamente para triagem em massa de datasets abertos e para gerar narrativa analítica a partir de grafos NetworkX já montados (script próprio: link_analysis_ai.py)
  • Perplexity / motores de busca com IA — cruzamento rápido de notícias e achados de auditoria para localizar reportagens correlatas antes de aprofundar em fonte primária
  • pandas + Python — limpeza, deduplicação e análise estatística das planilhas de execução orçamentária baixadas em lote

Verificação e cadeia de evidência

  • ExifTool — metadados de documentos e imagens anexadas a processos públicos
  • Replicação de toda busca-chave em cinco motores (Google, Bing, Brave, Yandex, DuckDuckGo) antes de fechar qualquer achado
  • Preservação de nota de origem e timestamp de cada fonte coletada — todo achado tem que sobreviver a uma auditoria da própria auditoria
O que muda a partir de agora: cada publicação neste feed vai trazer o dado bruto, a fonte primária linkada e, quando aplicável, o grafo ou a planilha que sustenta a conclusão. Interpretação fica em segundo plano. O comprovante vem primeiro.

Por que contratar a RDS @RDSWEB para essa auditoria

Rodar essa metodologia internamente exige tempo, ferramental e conhecimento de fonte que a maioria das equipes não tem disponível fora do seu núcleo de atividade. A RDS entrega o achado pronto — rastreável, validado e defensável — para sete públicos que precisam de respostas diferentes sobre o mesmo dado:

PúblicoBenefício direto da auditoria OSINT
CEOVisibilidade antecipada de risco reputacional antes que ele vire manchete — exposição de contraparte, sócio ou beneficiário problemático mapeada com antecedência
CFOQuantificação do custo real de exposição financeira — juros, glosa, multa, repactuação — com números extraídos de fonte primária, não estimativa
JurídicoPacote de evidência já estruturado, com origem e timestamp preservados, pronto para subsidiar defesa, due diligence ou notificação extrajudicial
ConselhoRelatório de governança que documenta que a due diligence foi feita — reduz responsabilização pessoal de conselheiros por omissão
ComplianceConformidade demonstrável com LGPD, Marco Civil da Internet e normativos setoriais — coleta 100% passiva e ética, sem invasão
Auditoria internaTrilha de evidência auditável por terceiros — cada achado aponta para a fonte, reproduzível por qualquer auditor externo
RHIdentificação de vínculo não declarado, conflito de interesse ou risco de pessoa interna antes da contratação ou durante monitoramento contínuo

Diferenciais operacionais

  • Velocidade com rigor — triagem de grandes volumes de dado aberto acelerada por scripts próprios (Python + APIs de IA) sem abrir mão de validação cruzada em cinco motores de busca
  • 20+ anos de bagagem em CTI, investigação defensiva, OSINT, SOCMINT e perícia digital aplicados ao caso concreto, não só ao tutorial de ferramenta
  • Cadeia de custódia desde a coleta — cada fonte citada com origem e data, pronta para resistir a contestação em processo administrativo ou judicial
  • Entrega 100% virtual — sem deslocamento, sem exposição física da equipe, prazo determinado por escopo e não por geografia
  • Enquadramento legal desde o desenho da coleta — LGPD, Marco Civil da Internet e CPP observados por padrão, não como correção posterior

Levo clareza a cenários complexos. Transformo dados públicos e digitais em inteligência acionável para apoiar conselheiros e CEOs na tomada de decisão. Minha experiência em OSINT, Defesa, GRC, compliance e monitoramento digital fortalece estratégias corporativas, reduz riscos e garante segurança empresarial.

RDS @RDSWEB — x.com/RDSWEB · linkedin.com/in/rdsweb · osintbrasil.blogspot.com

RDS ; Professor entusiasta da Segurança da Informação

☕ Apoie este trabalho — PIX: 47988618255

Comentários

Manual de Fontes Abertas

CLICA

Pericia Digital

Como usar um Agente OSINT IA

Postagens mais visitadas