Principais ferramentas de inteligência de código aberto (OSINT) para Dark Web
Principais ferramentas de inteligência de código aberto (OSINT) para Dark Web
Introdução
A dark web, uma parte intencionalmente escondida da internet, ajuda a proteger a privacidade dos usuários da internet contra ataques de análise de tráfego. Essa parte da internet só pode ser acessada por meio de navegadores ou tecnologias especializadas da dark web.
A pesquisa manual, amplamente usada por analistas, consome muito tempo e, em última análise, é ineficiente. Alguns estudos usaram mecanismos automatizados para descobrir a DarkWeb, mas informações sobre estudos que investigam ou avaliam sistematicamente o conteúdo contido em sua rede oculta são escassas. Este artigo destaca os desafios tecnológicos ao explorar conteúdo ilegal e extremista usando ferramentas que podem lançar luz sobre essa rede anônima.
Visite meu serviço OSINT : aqui
OSINT, ou Open Source Intelligence, pode escanear para Decipher e encontrar conexões entre criminosos e outros atores ao redor deles. Especialistas também podem usá-lo para monitorar informações como possíveis ataques e ameaças internas, bem como neutralizar ou interromper planos em tempo real.
As fontes OSINT incluem jornais, revistas, notícias, conferências, fotografias, vídeos, contas de mídia social, blogs, conferências de imprensa e documentos acadêmicos. Com a disseminação da Internet e o aumento do uso de mídia social, houve um aumento significativo nas fontes OSINT. O ponto a ser considerado é coletar informações de recursos que não exigem contato com o alvo. O uso combinado e automatizado de técnicas OSINT permite que um agente de ameaça revele seu nome, localização, endereço IP ou imagem.
À luz dessas informações, tentaremos transmitir a você um contexto na tentativa de usar técnicas OSINT de forma combinada na pesquisa da Darkweb.
Introdução à Dark Web
A deep web e a darknet são dois conceitos muito confusos e muito diferentes. O termo “Deep Web” denota uma classe de conteúdo da Internet que, por várias razões técnicas, não é indexada por mecanismos de busca.
Recursos indexados por um mecanismo de busca, independentemente de um usuário ir ou não ao site da página inicial para 'mais profundo' para ir, devem ter credenciais válidas, como nome de usuário e senha. A parte por trás de uma página acessível pela verificação do usuário em um serviço de streaming de mídia é considerada parte da deep web porque ela é frequentemente bloqueada de acessar recursos por trás da página inicial do navegador de um mecanismo de busca.
Visite meu serviço OSINT : aqui
Sites onde muitos processos de autenticação são necessários, como conteúdos de contas de e-mail, contas de mídia social, contas bancárias on-line e conteúdos de aplicativos de mensagens, constituem o conteúdo da deep web. Além disso, informações como documentos legais, pesquisas científicas, estudos acadêmicos e bancos de dados de instituições privadas também são armazenadas aqui.
A dark web é o conteúdo da World Wide Web contido em uma rede privada: redes de sobreposição que usam a internet, mas exigem software, configurações ou autorização específicos para acessá-la. Por meio da dark web, redes de computadores pessoais podem se comunicar e conduzir negócios anonimamente sem revelar informações de identificação, como a localização do usuário. Isso também torna a dark web um subconjunto das barras que temos na Internet — sites na Dark Web funcionam em seu ambiente único, separados dos sites de sites de superfície. Os criminosos cibernéticos usam a dark web para coordenar e realizar ataques cibernéticos, vender dados roubados e até mesmo explorá-los para empresas.
A dark network é frequentemente uma das questões que sempre mantém o mistério, com muitos mal-entendidos. Para aproveitar a Darkweb, precisamos analisar e correlacionar os dados corretamente. Ela pode então se tornar um valioso conjunto de informações usadas em segurança cibernética.
Neste artigo, descreveremos exemplos e cenários por meio do TOR, a rede oculta mais popular, quando falamos sobre a dark web.
Por que a Dark Web é tão importante em termos de inteligência de ameaças cibernéticas?
A Dark web pode ser uma fonte valiosa de inteligência de ameaças, onde analistas podem aprender sobre como os ataques cibernéticos são realizados, dados roubados, quais ferramentas de ataque estão à venda e compradas, e as taxas de sucesso das campanhas atuais de ataques cibernéticos. No entanto, essa inteligência e a criação de uma imagem completa do ambiente de ameaças podem ser complexas e exigem uma compreensão completa da dark web e de como conduzir uma investigação.
Algumas informações sobre ameaças que os analistas podem encontrar na Dark Web incluem:
– Vazamentos expostos , nomes, endereços de e-mail e ativos de precisão relacionados à sua organização geralmente são vendidos em mercados da dark web.
– Vulnerabilidades são onde vulnerabilidades de segurança em softwares populares usados em muitas empresas são vendidas.
– Campanha de Ameaças , os dados necessários podem ser acessados para rastrear uma nova campanha de ataque cibernético relacionada a diferentes setores/cenários.
– O acesso a ativos digitais é vendido, como banco de dados, servidores críticos e infraestruturas fornecidas para vender infraestrutura.
Acompanhar a dark web de uma perspectiva de segurança cibernética nos dá informações detalhadas sobre métodos de monetização interessantes para criminosos. Ao seguir essas técnicas e táticas, o próximo ataque pode ser previsto e cria um contexto essencial para nós para medidas pré-ataque.
Por essas razões, a dark web é um recurso essencial para OSINT porque compõe uma grande parte da internet e tem conteúdo rico. Além disso, com a coleta de dados da dark web, organizações ou estados podem fazer descobertas sobre violações de dados e atividades ilegais e tomar várias medidas de acordo. Aqui, explicaremos como os dados podem ser extraídos pela dark web usando técnicas OSINT, como eles podem ser analisados e as ferramentas de amostra no ponto de correlação.
Por que escolhemos a TOR Hidden Network
Informalmente, a Dark Web se refere à pequena porção da Deep Web (a parte da Web que geralmente é considerada fora do alcance dos mecanismos de busca atuais) baseada em darknets. Darknets comuns incluem, entre outras redes P2P menores, FreeNet, o Invisible Internet Project (I2P) e Tor. No caso do Tor, os serviços ocultos do Tor são usados para acessar diferentes aplicativos, como bate-papo, e-mail ou sites por meio da rede Tor.
Neste artigo, focamos em particular na análise de sites hospedados em serviços ocultos Tor — devido à popularidade muito maior do Tor entre os usuários, que compreendia cerca de 7.000 retransmissores ou proxies no momento em que este artigo foi escrito. A rede Tor usa a técnica de roteamento onion para anonimização do tráfego de rede. Devido à sua natureza, os serviços ocultos Tor são usados para uma ampla gama de atividades (ciber)criminosas. Assim, vários estudos se concentraram em como descobrir, acessar, rastrear e categorizar o conteúdo da Dark Web.
Monitoramento da Dark Web com OSINT
Embora seja tecnicamente possível criar seu programa de monitoramento da dark web, isso não é realista. Existem muitas plataformas na Dark web onde informações pessoais são vendidas ou negociadas, o que exigirá um alto nível de poder computacional e sistematização, escaneando constantemente cada uma delas. Saber como fazer o plano de negócios e as soluções certas de acordo com o problema é um dos aspectos desafiadores do trabalho.
Neste artigo, continuaremos com uma configuração de estrutura que consiste em uma metodologia simples composta por várias etapas e ferramentas que você pode automatizar com sucesso.
Essas etapas são principalmente:
- Como obter onion links via TOR
- Como pesquisar nesses links
- Como coletar dados por meio dessas conexões
- Como processar esses dados
Claro, o número de veículos aqui pode ser aumentado, mas queríamos mostrar alguns veículos de amostra e para qual propósito os usamos para fornecer a você uma visão geral daqui. Com o tempo, as ferramentas podem mudar, mas os passos em direção à meta permanecerão os mesmos.
Como obter Onion Links via TOR
Devido à arquitetura da TOR Network, não é fácil encontrar conteúdo relevante porque ele não é adequado para a estrutura do mecanismo de busca usado pelos sistemas centrais. Portanto, tentamos resolver esse problema com algumas soluções próximas aos mecanismos de busca que usamos no dia a dia.
Como primeiro passo, concentre-se em mecanismos de busca deep-web. Os mais populares são Ahmia.fi(http://ahmia.fi/) e The Uncensored Hidden Wiki, esses dois funcionam com uma lógica diferente um do outro.
Ahmia
Juha Nurmi desenvolveu o Ahmia como parte do Tor Project, que é uma das coisas mais próximas de um mecanismo de busca da deep web. O Ahmia essencialmente coleta URLs .onion da rede Tor e então alimenta essas páginas para seu índice, desde que elas não contenham um arquivo robots.txt dizendo para não indexá-las. Além disso, o Ahmia permite que operadores de serviços onion registrem suas URLs, permitindo que sejam encontradas. Por meio da coleta contínua de URLs .onion, o Ahmia criou um dos índices mais extensos da deep web.
Wiki Oculto
Uncensored Hidden Wiki funciona de forma um pouco diferente. Qualquer um pode se registrar em um Uncensored Hidden Wiki; depois disso, todos podem editar conexões no banco de dados. O mecanismo de busca funciona chamando as descrições das páginas fornecidas nesses links. “.onion” Como os nomes de domínio são alterados com muita frequência, os links de crowdsourcing são uma das melhores maneiras de coletar muitas URLs valiosas e mantê-las atualizadas.
Dicas rápidas
A lista de discussão Hunchly Dark Web fornece relatórios diários de serviços ocultos na rede Tor. Combinada com as outras duas alternativas nesta lista que podem ser tomadas diariamente, ela pode fornecer descobertas de inteligência acionáveis.
Visite meu serviço OSINT : aqui
Como coletar dados nesses links
1) TorBot
TorBot é uma ferramenta OSINT da dark web . Ela é escrita em Python e é de código aberto. Dark on the web .scans sites com a extensão onion. Alguns recursos incluem:
- Retorna o título e o endereço da página com uma breve descrição do site.
- Salvar informações de rastreamento em arquivo JSON
- Rastreie domínios personalizados.
- Verificando se o link está ativo.
Devido a esses recursos, a ferramenta TorBot acaba sendo uma ferramenta que realiza muitas tarefas por conta própria com todas as soluções de que precisamos. Os processos de coleta de informações na Dark web com OSINT podem ser facilmente realizados usando várias ferramentas. Uma dessas ferramentas, o TorBot, é uma ferramenta valiosa com facilidade de uso e informações essenciais que fornece como saída. É importante usar ferramentas semelhantes para encurtar o processo de coleta de informações.
Esta ferramenta OSINT foi projetada para localizar links de mídia acessíveis dentro de sites Tor. Ela facilita a extração fácil de mídia para download de uma única URL ou de vários arquivos, ao mesmo tempo em que oferece recursos avançados de reconhecimento facial.
Esta ferramenta foi projetada para descobrir serviços ocultos ao vasculhar uma variedade de fontes Clearnet. Ela oferece suporte opcional de texto completo ao Elasticsearch para recursos de pesquisa aprimorados. Com esta ferramenta, você pode localizar impressões digitais SSH e endereços de e-mail em serviços ocultos, bem como identificar endereços Bitcoin operando nesses domínios ocultos. Ela também fornece insights sobre as conexões de rede ao revelar links de entrada e saída em domínios onion. Os usuários podem se manter atualizados com informações em tempo real sobre o status de serviços ocultos. Além disso, a ferramenta pode conduzir varredura de portas, pesquisar caminhos de URL "interessantes", o que é particularmente útil para detecção de erro 404, e detectar automaticamente idiomas e clones fuzzy, tornando-a uma solução abrangente para investigações e análises online.
Uma ferramenta Python descomplicada e fácil de usar, projetada para investigar URLs da Deep Web.
O Tor Crawl não apenas navega pelos serviços ocultos no Tor, mas também auxilia na extração de código das páginas da web desses serviços.
Uma ferramenta simples e baseada em Python para explorar URLs na Deep Web. Photon, um rastreador rápido otimizado para propósitos OSINT, funciona como uma ferramenta para exploração rápida da web e verificações de inteligência. Ele valida eficientemente vários recursos online e reúne informações sobre o alvo pretendido.
Esta ferramenta também possui complementos como,
a) dnsdumpster.com
b) findsubdomains.com
c) web.archive.org
A ferramenta extrai os seguintes dados durante o rastreamento:
a) URLs com parâmetros (exemplo.com/galeria.php?id=2)
b) e-mails, contas de mídia social
c) Vários tipos de arquivos
d) Chaves secretas
e) arquivos de JavaScript e endpoints presentes
f) Subdomínios Informações e dados relacionados ao DNS
Um rastreador de aplicativos da web simples e eficiente, projetado para facilitar a identificação rápida e simples de endpoints em aplicativos da web.
Pode ser usado para descobrir:
a) Formulários
b) Pontos finais
c) Subdomínios
d) Arquivos JavaScript
Esta ferramenta OSINT facilita investigações on-line, permitindo varreduras de informações relacionadas a endereços de e-mail, domínios, endereços IP e organizações. Ela coleta eficientemente uma ampla gama de dados, incluindo nomes completos, nomes próprios, gênero, informações de emprego, perfis sociais e fotos. Projetada para pesquisadores de segurança, testadores de penetração e investigadores de crimes cibernéticos, esta ferramenta serve como um recurso valioso para desenterrar informações confidenciais sobre indivíduos visados. Seus recursos abrangentes agilizam o processo de coleta de dados pertinentes, auxiliando em vários esforços investigativos.
Gasmask é uma ferramenta abrangente de coleta de informações OSINT projetada para atender às necessidades de caçadores de bugs, testadores de penetração e pesquisadores de segurança cibernética. Ela capacita os usuários a coletar dados valiosos de uma variedade de fontes publicamente acessíveis, incluindo Ask, cessys.io, Bing, disrupter e VirusTotal. Gasmask oferece dois modos distintos, o modo básico e o modo não Google, fornecendo flexibilidade na recuperação de informações com base em preferências e requisitos específicos. Esta ferramenta se tornou um recurso essencial para aqueles que buscam extrair insights e inteligência da web aberta.
Uma ferramenta de OSINT de e-mail e Password Breach Hunting, o H8mail é especializado em descobrir credenciais fracas ao vasculhar bilhões de senhas. Projetado especificamente para localizar senhas em texto simples dentro de violações de dados massivas usando apenas o e-mail de um indivíduo, sua fonte padrão para essas informações é o Scylla.
Apresentando uma ferramenta de estrutura de raspagem OSINT
Ao embarcar em vetores de reconhecimento e ataque, obter resultados de mineração de dados geralmente envolve despesas, como com Maltego. O Skip Tracer foi desenvolvido para agilizar o processo automatizando consultas e analisando dados de serviços de terceiros, aumentando significativamente a produtividade durante pesquisas e investigações de antecedentes. Esta ferramenta versátil nos permite extrair dados OSINT de placas de veículos, fornecendo informações abrangentes sobre veículos para nosso uso.
Uma ferramenta OSINT de reconhecimento web versátil, projetada para coleta abrangente de informações online. Este script Python rápido e fácil de usar é empregado principalmente para tarefas de reconhecimento web.
Esta ferramenta pode extrair dados como,
a) Informações do cabeçalho
b) QUEM É
c) Detalhes do certificado SSL
d) Rastreador
Visite meu serviço OSINT : aqui
Como processar esses dados
Coletamos manualmente links do Tor e obtivemos outros links relacionados usando algumas ferramentas. Após essa etapa, que realizamos de forma semiautomatizada, salvamos ao acessar o conteúdo das páginas e analisá-las. O ponto de obtenção de inteligência real dependerá agora da correlação e armazenamento corretos desses dados e da análise deles.
Neste ponto, podemos usar o Maltego para visualizar os dados. Então, você pode interagir com a interface do Kibana mantendo os dados no Elasticsearch e digitando consultas complexas para fortalecer o contexto.
Como mencionamos no início do nosso artigo, a parte mais complicada e problemática é configurar o ambiente a ser analisado após os dados serem coletados usando técnicas OSINT.
Neste artigo, discutimos as dificuldades técnicas e as medidas tomadas para lidar com web crawls em larga escala específicos para a rede Tor. Analisar big data apresentou desafios significativos. Muitas vezes, será mais eficaz obter um serviço de inteligência da dark web em vez de projetar esses sistemas.
Conclusão
A inteligência de código aberto fornece tomada de decisão de segurança de informações como informações sobre atividades maliciosas que potencialmente afetam os negócios. No entanto, embora a inteligência de código aberto usando a internet de superfície seja mais comumente encontrada, sabemos que usar a Darknet é menos comum para analistas de segurança cibernética típicos.
As dificuldades de usar a Darknet para inteligência de código aberto exigem soluções diferentes em muitos pontos devido ao uso de estruturas que não estão na arquitetura central. Os pesquisadores podem usar muitas outras ferramentas no momento em seu trabalho na Darkweb. As ferramentas e sistemas compartilhados aqui podem variar no futuro. No entanto, o sistema de criação de inteligência não terá muitas mudanças.
É mais do que uma promoção de ferramenta a ser explicada aqui, mais do que conscientização, para criar uma perspectiva sobre as atividades de inteligência da Darkweb.
A pesquisa tentou enfatizar como a coleta de dados deve ser feita sistematicamente e onde a atenção deve ser dada. Isso exigirá tempo e foco sérios.
Fique ligado para sabermos onde podemos obter mais informações sobre os agentes de ameaças no mundo em mudança e em desenvolvimento e fornecer mais inteligência combinada com técnicas OSINT.
➢ Recursos:
Entre em contato comigo no Fiverr OU Cipher Shadow IT
Fortaleça suas estratégias, fortaleça suas decisões e explore o mundo de possibilidades com OSINT. Vamos colaborar e desbloquear o verdadeiro potencial da informação juntos.
Sinta-se à vontade para personalizar o conteúdo com seus serviços específicos, conquistas ou quaisquer detalhes adicionais que você gostaria de destacar. Este artigo tem como objetivo criar conscientização sobre OSINT e encorajar os leitores a se conectarem com você no Fiverr para sua expertise neste campo.
Comentários
Postar um comentário