OSINT: Usando Spiderfoot para coleta de dados OSINT

Bem-vindo de volta, meus aspirantes a especialistas em OSINT!

A inteligência de código aberto - ou OSINT, como ficou conhecida - é um campo de ponta em hackers / pentesting, forense e ciência de dados. O OSINT está mudando a maneira como investigadores, pentesters e cientistas de dados fazem seu trabalho.

O Open Source Intelligence usa os recursos disponíveis gratuitamente na Internet (não são necessárias atividades ilegais) para fazer o reconhecimento de hackers / criminosos, resolver mistérios e conduzir investigações (para escrever sobre como Hackers-Arise e OTW descobriram uma farsa global usando técnicas OSINT, confira este artigo ). Há uma infinidade de ferramentas e técnicas para colher essa inteligência. Lembre-se de que há uma infinidade de recursos na Internet e cada um deles exige muitas ferramentas e técnicas.

Para hackers e criminosos, o OSINT pode ser inestimável ao reunir informações sobre um alvo para uma campanha de phishing ou spearphishing. Quanto mais você souber sobre seu objetivo, maior a probabilidade de sucesso.

Neste tutorial, veremos como usar uma ferramenta de coleta de dados OSINT de uso geral denominada spiderfoot. Essa ferramenta é excelente para iniciar uma investigação, pois é capaz de coletar informações de várias fontes automaticamente, com pouca ou nenhuma intervenção manual. Após a coleta desses dados, você provavelmente precisará aprofundar-se com uma ferramenta específica para esse recurso específico.

Etapa # 1: Baixe e instale Instale o spiderfoo t

O Spiderfoot não está instalado por padrão no Kali, então você precisará baixá-lo no github.com.

kali> git clone https://github.com/smicallef/spiderfoot.git

Depois de concluir o download, navegue para o novo diretório spiderfoot.

kali> cd spiderfoot

Em seguida, você precisará baixar os requisitos do spiderfoot.

kali> pip3 install -r requisitos

O Spiderfoot possui um pacote no repositório Kali e você pode fazer o download com o apt ou apt-get.

kali> apt-get install spiderfoot

Etapa 2: Inicie o Spiderfoot e abra um navegador da Web

Você pode executar o spiderfoot na linha de comando, mas eu prefiro usar o navegador, pois ele permite navegação fácil e resultados gráficos fáceis de decifrar. O Spiderfoot abrirá um servidor da Web no Kali e servirá o aplicativo spiderfoot na porta 5001.

kali> python3 sf.py -l 127.0.0.1:5001

Quando o servidor da web estiver em funcionamento, abra um navegador na 127.0.0.1 (ou localhost) na porta 5001 e você será recebido com uma tela como a abaixo.

Etapa 3: selecione o tipo de investigação

O próximo passo é escolher que tipo de verificação você deseja realizar. O Spiderfoot é capaz de usar vários tipos de dados diferentes como um "destino inicial". Depois de nomear sua verificação ("nova verificação") e clicar na janela "Alvo inicial", você será recebido por uma janela suspensa com várias opções.

O Spiderfoot pode usar um nome de domínio, endereço IP (IPv4 ou IPv6), Nome do host, sub-rede, ASN, endereço de email, números de telefone, nome humano e nome de usuário como um "destino inicial". Eu achei o spiderfoot particularmente útil na busca de endereços de email, números de telefone e nomes humanos e de usuário. Existem várias outras ferramentas capazes de encontrar os outros Alvos de Semente.

Nesse caso, estava procurando um nome humano e o digitei na janela entre aspas duplas.

Quando o spiderfoot concluir sua verificação, você poderá revisar seus resultados clicando na guia "Procurar".

Uma das características mais agradáveis ​​do spiderfoot é a capacidade de exibir os dados em forma gráfica. Cada nó representa um pouco de dados sobre o assunto.

Se você expandir o gráfico, poderá ver os detalhes individuais de cada nó.

Etapa # 4: usando chaves de API

O Spiderfoot também é capaz de usar vários serviços diferentes que exigem chaves de API. Essas interfaces de programação de aplicativos (API) são a maneira padrão pela qual usuários e desenvolvedores fazem interface e acessam o aplicativo e seus recursos. As APIs que o spiderfoot é capaz de usar incluem;

Verificador Honeypot - www.projecthoneypot.org Este serviço verifica se um host é um provável honeypot.

Shodan - www.shodan.io Shodan permite que você escaneie a Internet pelos banners apresentados pelos servidores da web que revelam as tecnologias subjacentes.

VirusTotal - www.virustotal.com permite pesquisar se um pouco de software é um malware conhecido

IBM X-Force Exchange - https://exchange.xforce.ibmcloud.com - este serviço da IBM fornece dados que se integram a firewalls, IDS e SIEM em ameaças maliciosas.

Malware Patrol - http://www.malwarepatrol.net - este serviço rastreia ameaças ativas atualmente sendo usadas na Internet.

BotScout - http://www.botscout.com - esse serviço identifica bots e impede que eles ingressem nos fóruns da empresa e em outros serviços.

Censys.io -http://www.censys.io- esse serviço verifica quase todos os endereços IP em busca de vulnerabilidades e pontos de entrada.

Hunter.io -http://www.hunter.io- este serviço está entre os melhores para encontrar endereços de e-mail.

AlienVault OTX - https://otx.alienvault.com - este serviço compartilha as informações mais recentes sobre ameaças emergentes, métodos de ataque e atores maliciosos, promovendo maior segurança em toda a comunidade.

Clearbit - https://dashboard.clearbit.com - este serviço fornece informações em tempo real sobre os visitantes do seu site.

BuiltWith - https://www.builtwith.com - O BuiltWith varre a Internet em busca das tecnologias por trás do site. Um excelente serviço para identificar rapidamente alvos com uma tecnologia vulnerável.

FraudGuard - https://fraudguard.io - este serviço coleta informações sobre honeypots, servidores de proxies abertos, nós de saída de ToR, rastreamento de IP geográfico, redes de bots e IP de spam.

IPinfo.io -https://ipinfo.io. - este serviço é capaz de rastrear os dados geográficos e outros em qualquer IP

Trilhas de segurança O SecurityTrails.com permite pesquisar o histórico do DNS, dados WhoIs, nomes de domínio, tecnologias de sites, informações e tags de nome de host.

FullContact.com https://fullcontact.com- este serviço ajuda os anunciantes a identificar o usuário em todos os dispositivos para otimizar as campanhas de publicidade. Pode ser ótimo para identificar o usuário de um dispositivo.

RiskIQ - https://riskiq.com O Risk IQ é especializado em gerenciamento de superfícies de ataque. Seu banco de dados é projetado para os CISOs gerenciarem o risco de suas empresas, coletando informações importantes que podem ser úteis para um invasor

O Spiderfoot é uma ferramenta poderosa sem essas APIs, mas, dadas essas APIs, pode se tornar sua ferramenta principal para o reconhecimento automatizado de OSINT.

Sumário

O OSINT está rapidamente se tornando uma ciência e um conjunto de habilidades essenciais para investigadores, pentesters e cientistas de dados. O spiderfoot pode salvar esses profissionais inúmeras horas trabalhando com ferramentas individuais, fornecendo uma verificação automatizada de vários recursos de código aberto.