Extraia informações úteis de reconhecimento

chm0dx/assustadorCrawlerPúblico

• Notificações
• Garfo 14
•  Estrela 128

• Código
• Problemas
• Solicitações pull
• Ações
• Projetos
• Segurança
• Percepções

chm0dx/creepyCrawler

1 Filial

0 Tags

Pastas e arquivos

Nome
Último commit chm0dx Link de manipulação de correção de bug href. c1b85c0 · 2 meses atrás História 15 compromissos
fireprox	Link de manipulação de correção de bug href.	2 meses atrás
README.md	Adicionada uma opção para procurar e extrair endereços IP encontrados no con…	ano passado
__init__.py	Inicial	2 anos atrás
assustadorCrawler.py	Link de manipulação de correção de bug href.	2 meses atrás
assustadorCrawler_demo.gif	Gif de demonstração.	ano passado
requisitos.txt	tente exceto capturar exceções FireProx	2 anos atrás

Navegação de arquivos do repositório

• Leia-me

assustadorCrawler

Ferramenta OSINT para rastrear um site e extrair informações úteis de reconhecimento.

• Forneça um URL inicial e colete URLs automaticamente para rastrear por meio de hrefs, robots.txt e mapa do site
• Extraia informações úteis de reconhecimento:
  • E-mails
  • Links de mídia social
  • Subdomínios
  • arquivos
  • Uma lista de links de sites rastreados
  • Comentários HTML
  • Endereços IP
  • Tags de marketing (UA, GTM, etc.)
  • Descobertas 'interessantes', como conteúdo de ancestrais de quadros e recursos que retornam conteúdo JSON
• FireProx integrado para criar endpoints automaticamente para cada subdomínio, alternar IP de origem e limpar no final
  • Bifurcado e modificado ( chm0dx/fireprox ) do incrível ustayready/fireprox
• Suporte a proxy HTTP/SOCKS

Instalar

git clone https://github.com/chm0dx/creepyCrawler.git
cd creepyCrawler
pip install -r requirements.txt

Usar

creepyCrawler.py --url URL [--email EMAIL] [--threads THREADS] [--limit LIMIT] [--proxy PROXY] [--headers HEADERS] [--fireprox]
                 [--region REGION] [--access_key ACCESS_KEY] [--secret_access_key SECRET_ACCESS_KEY] [--json] [--robots]
                 [--sitemap] [--suppress_progress] [--comments] [--tags]

Crawl a site and extract useful recon info.

optional arguments:
  -h, --help            show this help message and exit
  --url URL             An initial URL to target.
  --email EMAIL         A comma-separated list of email domains to look for. Defaults to the root domain of the passed-in URL.
  --threads THREADS     The max number of threads to use. Defaults to 10.
  --limit LIMIT         The number of URLs to process before exiting. Defaults to 500. Set to 0 for no limit (careful).
  --proxy PROXY         Specify a proxy to use.
  --headers HEADERS     Override defaults with the indicated headers. ex: "{'user-agent':'value','accept':'value'}"
  --fireprox            Automatically configure FireProx endpoints. Pass in credentials or use the ~/.aws/credentials file.
  --region REGION       The AWS region to create FireProx resources in.
  --access_key ACCESS_KEY
                        The access key used to create FireProx resources in AWS.
  --secret_access_key SECRET_ACCESS_KEY
                        The secret access key used to create FireProx resources in AWS.
  --json                Output in JSON format
  --robots              Search pages found in the robots.txt file
  --sitemap             Search pages found in the site's sitemap
  --suppress_progress   Only show final output
  --comments            Return HTML comments extracted from crawled pages
  --tags                Return tags (UA,GTM,etc.) extracted from crawled pages
  --ips                 Return IP addresses extracted from crawled page content