Automação de Inteligência de Fonte Aberta: Spiderfoot

CyberPunk » Recolha de informação

---

Automação de Inteligência de Fonte Aberta

---

    SpiderFoot é uma ferramenta de pegada de código aberto, disponível para Windows e Linux. Está escrito em Python e fornece uma GUI fácil de usar. O SpiderFoot obtém uma ampla gama de informações sobre um alvo, como servidores web, netblocks, endereços de e-mail e muito mais. A interface simples baseada na Web da SpiderFoot permite que você lance uma verificação imediatamente após a instalação - apenas dê a sua digitalização um nome, o nome de domínio do seu alvo e selecione quais módulos habilitar.

SpiderFoot 2.1.0 Lançado

SpiderFoot é uma ferramenta de pegada de código aberto 
projetada para ser fácil de usar, rápida e extensível

O principal objetivo do SpiderFoot é automatizar esse processo na medida do possível , liberando o tempo do testador de penetração para concentrar seus esforços no próprio teste de segurança.

• Comece com um alvo de mais do que apenas domínios (Nomes de host, IPs, Netblocks, etc.)
• Limpe o modelo de dados de back-end para ser mais flexível
• Exames simultâneos
• Mais threading para um desempenho mais rápido
• Pesquisa / Filtragem
• Um monte de correções de bugs

SpiderFoot é uma ferramenta de automação de inteligência de código aberto. Seu objetivo é automatizar o processo de reunir informações sobre um determinado alvo

Objetivo

Existem três áreas principais onde SpiderFoot pode ser útil:

• Se você é um testador de canetas, o SpiderFoot irá automatizar o estágio de reconhecimento do teste, dando-lhe um conjunto rico de dados para ajudá-lo a identificar as áreas de foco para o teste.
• Compreenda o que sua rede / organização está expondo abertamente ao mundo exterior. Essa informação nas mãos erradas poderia ser um risco significativo.
• SpiderFoot também pode ser usado para reunir inteligência de ameaças sobre IPs maliciosos suspeitos que você pode estar vendo em seus registros ou obteve através de feeds de dados de inteligência de ameaça.

Características

• Utiliza uma descarga de fontes de dados ; Mais de 50 até agora e contando, incluindo SHODAN, RIPE, Whois, PasteBin, Google, SANS e muito mais.
• Projetado para a máxima extração de dados ; Todos os dados são transmitidos para módulos que possam estar interessados, para que possam extrair informações valiosas. Nenhum pedaço de dados descobertos é salvo da análise.
• Funciona em Linux e Windows. E totalmente open-source para que você possa garfá-lo no GitHub e fazer o que quiser com ele.
• Visualizações. Visualizações incorporadas em JavaScript ou exportação para GEXF / CSV para uso em outras ferramentas, como Gephi, por exemplo.
• UI baseada na Web. Não há incômodo CLI ou Java para mexer com. Fácil de usar, fácil de navegar. Dê uma olhada na galeria para capturas de tela.
• Altamente configurável. Quase todos os módulos são configuráveis ​​para que você possa definir o nível de intrusividade e funcionalidade.
• Modular. Cada parte importante da funcionalidade é um módulo, escrito em Python. Sinta-se à vontade para escrever o seu próprio e enviá-los para serem incorporados!
• SQL-back-end. Todos os resultados da varredura são armazenados em um banco de dados SQLite local, para que você possa jogar com seus dados no conteúdo do seu coração.
• Exames simultâneos. Cada varredura da pegada é executada como seu próprio segmento, para que você possa realizar a pegada de muitos destinos diferentes simultaneamente.
• Muito mais ... confira a documentação para obter mais informações.

Fontes de dados

Esta é uma lista cada vez maior de fontes de dados que o SpiderFoot usa para reunir informações sobre o seu alvo. Algumas exigem chaves API, mas estão disponíveis gratuitamente.

Fonte	Localização	Notas
Abuse.ch	Http://www.abuse.ch	Vários rastreadores de malwares.
AdBlock	Https://easylist-downloads.adblockplus.org/easylist.txt	O padrão AdBlock corresponde
AlienVault	Https://reputation.alienvault.com	Banco de dados de reputação IP da AlienVault.
Autoshun.org	Http://www.autoshun.org	Listas negras.
Relatório de segurança do site AVG	Http://www.avgthreatlabas.com	Verificador de segurança do local.
Bing	Http://www.bing.com	Scraping, mas a versão futura também usa a API.
Blocklist.de	Http://lists.blocklist.de	Listas negras.
Checkusernames.com	Http://www.checkusernames.com	Procure a disponibilidade de nome de usuário em sites populares.
DNS	Seu servidor de DNS configurado.	Padrão para o seu DNS local, mas pode ser configurado para qualquer endereço IP que você forneça SpiderFoot.
DomainTools	Http://www.domaintools.com
DroneBL	Http://www.dronebl.org
Facebook	Http://www.facebook.com	Scraping, mas a versão futura também usa a API.
FreeGeoIP	Http://freegeoip.net
Google	Http://www.google.com	Scraping, mas a versão futura também usa a API.
Google+	Http://plus.google.com	Scraping, mas a versão futura também usa a API.
Navegação segura do Google	Http://www.google.com/safebrowsing	Verificador de segurança do local.
LinkedIn	Http://www.linkedin.com	Scraping, mas a versão futura também usa a API.
Malc0de.com	Http://malc0de.com	Listas negras.
Malwaredomainlist.com	Http://www.malwaredomainlist.com	Listas negras.
Malwaredomains.com	Http://www.malwaredomains.com	Listas negras.
McAfee SiteAdvisor	Http://www.siteadvisor.com	Verificador de segurança do local.
NameDroppers	Http://www.namedroppers.org
Nothink.org	Http://www.nothink.org	Listas negras.
OpenBL	Http://www.openbl.org	Listas negras.
PasteBin	Http://www.pastebin.com	Alcançado através do Google raspagem.
Servidores PGP	Http://pgp.mit.edu/pks/	Chaves públicas PGP.
PhishTank	Http://www.phishtank.org	Identificou sites de phishing.
Projeto Honeypot	Http://www.projecthoneypot.org	Listas negras. É necessária a chave da API.
RIPE / ARIN	Http://stat.ripe.net/
Robtex	Http://www.robtex.com
SANS ISC	Http://isc.sans.edu	Banco de dados de reputação IP da Internet Storm Center.
SHODAN	Http://www.shodanhq.com	É necessária a chave da API.
SORBS	Http://www.sorbs.net	Listas negras.
SpamHaus	Http://www.spamhaus.org	Listas negras.
ThreatExpert	Http://www.threatexpert.com	Listas negras.
Lista de nós TOR	Http://torstatus.blutmagie.de
TotalHash.com	Http://www.totalhash.com	Domínios / IPs usados ​​por malware.
UCEPROTECT	Http://www.uceprotect.net	Listas negras.
VirusTotal	Http://www.virustotal.com	Domínios / IPs usados ​​por malware. É necessária a chave da API.
Quem é	Vários	Servidores Whois para diferentes TLDs.
Yahoo	Http://www.yahoo.com	Scraping, mas a versão futura também usa a API.
Zone-H	Http://www.zone-h.org	Fácil de obter lista negra. Faça o login no site em um navegador do IP que você está digitalizando primeiro e digite o CAPTCHA, então ele deve estar bem.

SpiderFoot é projetado desde o ponto morto para ser modular. Isso significa que você pode facilmente adicionar seus próprios módulos que consomem dados de outros módulos para executar qualquer tarefa que você desejar. Como um exemplo simples, você pode criar um módulo que tente automaticamente conquistar nomes de usuários e senhas sempre que uma página de manipulação de senha seja identificada pelo módulo de spidering.

Pré-Requisitos

SpiderFoot está escrito em Python (2.7), para executar em Linux / Solaris / FreeBSD / etc. Você precisa do Python 2.7 instalado, além dos módulos lxml, netaddr, M2Crypto, CherryPy, bs4, e módulos Mako.

Para instalar as dependências usando PIP , execute o seguinte:

~$ pip install lxml netaddr M2Crypto cherrypy mako requests bs4

Em algumas distros, em vez de M2Crypto, você deve instalá-lo usando APT em vez disso:

~$ apt-get install python-m2crypto

Outros módulos, como PyPDF2, SOCKS e muito mais, estão incluídos no pacote SpiderFoot, portanto, você não precisa instalá-los separadamente.