TorBot - ferramenta de inteligência de código aberto para a Dark Web

4,9 k

AÇÕES

CompartilhadoTweet

TorBot é uma ferramenta de inteligência de código aberto desenvolvida em python. O objetivo principal deste projeto é coletar dados abertos da deep web (também conhecida como dark web) e com a ajuda de algoritmos de data mining, coletar o máximo de informações possível e produzir um gráfico de árvore interativo. O módulo gráfico de árvore interativo será capaz de exibir as relações dos dados de inteligência coletados.

Procedimento de Trabalho / Plano Básico

O procedimento básico executado pelo algoritmo de rastreamento da web pega uma lista de URLs iniciais como entrada e executa repetidamente as seguintes etapas:

URLs = entrada (url)
enquanto (URLs não estão vazios) faça
    retirar da fila
    página de solicitação
    analisar para links
    para (link em Links) faça 
        se (link islive && link não for visitado) então 
            adicionar link para URLs
    conteúdo da página da loja

Recursos

1. Esteira de cebola (.onion). (Concluído)
2. Retorna o título e o endereço da página com uma breve descrição do site. (Parcialmente concluído)
3. Salvar links no banco de dados. (PR a ser revisado)
4. Receba e-mails do site. (Concluído)
5. Salvar informações de rastreamento no arquivo JSON. (Concluído)
6. Rastreie domínios personalizados. (Concluído)
7. Verifique se o link está ativo. (Concluído)
8. Atualizador integrado. (Concluído)
9. TorBot GUI (veja branch front_end )
10. Integração de mídia social. (Não iniciado) ... (será atualizado)

Contribuir

Contribuições para este projeto são sempre bem-vindas. Para adicionar um novo recurso, bifurque o branch dev e forneça uma solicitação pull quando seu novo recurso for testado e concluído. Se for um novo módulo, ele deve ser colocado dentro do diretório de módulos. O nome do branch deve ser o seu novo nome de recurso no formato <Feature_featurename_version (opcional)>. Por exemplo, Feature_FasterCrawl_1.0 . O nome do contribuidor será atualizado para a lista abaixo. 😀
NOTA: O PR deve ser feito apenas para o devramal do TorBot.

Dependências de SO

• Tor
• Python 3.x
• Golang 1.x (não usado atualmente)

Dependências Python

• bela sopa 4
• pyinstaller
• PySocks
• termcolor
• solicitações de
• request_mock
• yattag

Configuração básica

Antes de executar o torBot, certifique-se de que as seguintes coisas sejam feitas corretamente:

• Executar serviço para sudo service tor start
• Certifique-se de que seu torrc está configurado para SOCKS_PORT localhost: 9050
• Instale os requisitos do TorBot Python pip3 install -r requirements.txt

Em plataformas Linux, você pode fazer um executável para TorBot usando o script install.sh. Você precisará dar ao script as permissões corretas usando chmod +x install.shAgora você pode executar ./install.shpara criar o binário torBot. Execute ./torBotpara executar o programa.

Uma forma alternativa de executar o torBot é mostrada abaixo, junto com as instruções de ajuda.

python3 torBot.py or use the -h/--help argument

uso: torBot.py [-h] [-v] [--update] [-q] [-u URL] [-s] [-m] [-e EXTENSÃO]
                 [-l] [-i]

argumentos opcionais:
  -h, --help Mostra esta mensagem de ajuda e sai
  -v, --version Mostra a versão atual do TorBot.
  --update Atualize o TorBot para a versão estável mais recente
  -q, --quiet Evita que o cabeçalho seja exibido
  -u URL, --url URL Especificar um link de site a ser rastreado; atualmente retorna links nessa página
  -s, --save Salva os resultados em um arquivo no formato json
  -m, --mail Obtém endereços de e-mail dos sites rastreados
  -e EXTENSÃO, --extensão EXTENSÃO
                        Especifique extensões de site adicionais para o
                        lista (.com ou .org etc)
  -l, --live Verifique se os sites estão ativos ou não (lento)
  -i, --info Info exibe informações básicas do site escaneado (muito

• NOTA: Todos os sinalizadores sob -u URL, --url URL também devem receber um sinalizador -u.

Leia mais sobre o torrc aqui: Torrc

Usando Docker

• Certifique-se de ter um contêiner tor em execução na porta 9050.
• Crie a imagem usando o seguinte comando:docker build -t dedsecinside/torbot .
• Execute o contêiner (certifique-se de vincular o contêiner tor como tor):

  docker run --link tor:tor --rm -ti dedsecinside/torbot

PENDÊNCIA

•  Módulo de Visualização
•  Implementar Pesquisa BFS para webcrawler
•  Multithreading para obter links
•  Melhore a estabilidade (trate os erros com elegância, expanda a cobertura do teste e etc.)
•  Crie uma GUI amigável
•  Randomize Tor Connection (Random Header and Identity)
•  Pesquisa por palavra-chave / frase
•  Integração de mídia social
•  Aumente o anonimato e a eficiência

Tem ideias?

Se você tiver novas ideias que valham a pena implementar, mencione-as iniciando uma nova edição com o título [FEATURE_REQUEST]. Se vale a pena implementar a ideia, parabéns, agora você é um contribuidor.

---

Página principal: https://github.com/DedSecInside/TorBot