Whatsapp 47 988618255
Compartilhe
Raspagem da Dark Web por OSINT
➢ Raspagem da Dark Web

Coleta/raspagem da Web
- Ele é usado para extração de dados de sites.
- Seu processo automatizado implementado usando um bot ou rastreador
- Depois que as informações são coletadas, elas são exportadas para o formato que for mais útil para os usuários.
O processo de raspagem da web
1. Identifique o site alvo
2. Colete todos os URLs das páginas de onde você deseja extrair dados
3. Solicite as URLs para obter o HTML da página da web
4. Use localizadores para encontrar os dados em HTML
5. Salve os dados em um arquivo JSON, CSV ou algum outro formato estruturado
Quais dados você pode extrair?
Com a ajuda da mineração de dados da dark web do Web Scraping, você pode extrair ou extrair os dados mencionados abaixo:
Falsificação de marca, transações de criptomoedas, tráfico ilícito de drogas, informações censuradas em mídias sociais, dados de produtos ilegais, detecção de vazamentos de dados, monitoramento de fraudes financeiras, acesso a conteúdo oculto, jogos de azar, wiki oculto, dados de blogs da Darknet, dados médicos roubados, blogs e fóruns, detecção de phishing e golpes, atividade fraudulenta, hacking.
- O Crawler é um programa de software que percorre as informações da WWW (World Wide Web) solicitadas por um usuário ao seguir links de hipertexto e o ajuda a recuperar páginas de documentos da web pelo protocolo HTTP padronizado.
- Os rastreadores têm muitos usos em diferentes aplicações e áreas de pesquisa, especialmente em mecanismos de busca, que visam obter dados atualizados e onde os rastreadores criam uma cópia de todas as páginas que eles visitam para processamento posterior.
- Outro uso comum dos Crawlers é o Web Archiving, onde os crawlers coletam e arquivam grandes grupos de páginas periodicamente para benefício futuro
- Ao projetar um rastreador, devemos estar cientes das características da rede rastreada.Para que o rastreador consiga acessar a rede Tor anonimamente, um software proxy deve ser usado para fornecer uma conexão proxy no protocolo HTTP sem salvar nenhum cache de dados sobre a conexão atual, e esse proxy conecta o rastreador à rede Tor.

- Aqui está um exemplo de um sistema desenvolvido usando Scrapy1 (escrito na biblioteca de programação Python),
- Trata-se de uma conexão com sites obscuros na rede Tor por meio do software Tor integrado com VPN para garantir a segurança, confidencialidade e anonimato do rastreador em relação aos sites, realocando os endereços IP.
- Depois que o Tor-Proxy é estabelecido, ele opera o rastreador a partir da URL do site e processa a interface de login com credenciais.
- Ele foi projetado como um rastreador especialmente para o site em estudo, de acordo com sua estrutura e a estrutura de hiperlinks entre suas páginas,
- ou seja, precisamos personalizar um design de rastreador diferente para cada site, para diferentes métodos de manipulação de interfaces e diferentes estruturas HTML.
Desafios enfrentados durante a raspagem da web
As disponibilidades para indexar uma página da web podem ser corrompidas devido a vários problemas, como:
- O proprietário de uma página específica a protege com uma senha para impedir que rastreadores a acessem.
- os horários de acesso das páginas da web podem ser especificados para que seja possível restringir o acesso à página e, após esse número específico, a página pode ficar indisponível antes que o rastreador a alcance.
- O arquivo robots.txt do site é configurado para informar ao rastreador para não rastrear aquele site ou partes diferentes dele.
- A página está oculta ou talvez não tenha vínculo com nenhuma outra página do site ou de outros servidores, por isso é inacessível, a menos que o URL completo seja conhecido.
➢ Ferramentas OSINT para a Dark Web

- É uma ferramenta OSINT para a dark web e desenvolvida em python
- O objetivo principal desta ferramenta é coletar/reunir todas as informações da dark web com a ajuda de algoritmos de mineração de dados. Isso também ajuda muito na possível localização de dados e produz um gráfico de árvore.
- Rastejador de cebola (. onion)
- Retorna o título das páginas e o endereço com uma pequena descrição do site
- Salvar os links para o banco de dados, Obter e-mails do site, Ajudar a salvar as informações de rastreamento no arquivo JSON
- Rastrear domínios personalizados, Integração de mídia social
- Esta ferramenta OSINT serve para encontrar os links de mídia disponíveis nos sites Tor
- Mídia para download, fácil de extrair de URLs e arquivos únicos
- Métodos de reconhecimento facial
- Encontre serviços ocultos em muitas fontes Clearnet
- Suporte opcional para Elasticsearch de texto completo
- Encontra impressões digitais SSH e endereços de e-mail em serviços ocultos
- Encontra endereços de bitcoin em serviços ocultos
- Mostra os links de entrada e saída por meio de domínios onion
- Status de serviço oculto ao vivo atualizado
- Varredura de porta
- Procure por caminhos de URL “interessantes”, o que é útil para detecção de 404
- Detecção automática de clones de linguagem e Fuzzy
- Uma ferramenta simples e fácil — escrita em python — para examinar URLs da Deep Web
- O Tor Crawl não apenas rastreia serviços ocultos no Tor, mas também ajuda a extrair o código na página da web dos serviços
- Fast Crawler Projetado para OSINT, Photon é como um rastreador rápido e ferramenta de verificação OSINT
- Usando o Photon, podemos verificar facilmente diferentes tipos de recursos e informações on-line sobre o alvo
Esta ferramenta também possui complementos como,
a) dnsdumpster.com b) findsubdomains.com c) web.archive.org
A ferramenta extrai os seguintes dados durante o rastreamento:
a) URLs com parâmetros (exemplo.com/galeria.php?id=2) b) e-mails, contas de mídia social c) Vários tipos de arquivos d) Chaves secretas e) arquivos de JavaScript e endpoints presentes f) Subdomínios Informações e dados relacionados ao DNS
- Rastreador de aplicativos da Web simples e rápido
- Esta ferramenta ajuda a descobrir de forma fácil e rápida endpoints em aplicações web.
Pode ser usado para descobrir:
a) Formulários b) Pontos de extremidade c) Subdomínios d) Arquivos JavaScript
- Uma ferramenta para pesquisar usando OSINT
- Esta é uma ferramenta que podemos usar para realizar varreduras OSINT em recursos online e verificar informações de endereço de e-mail, domínio, endereço IP e organização. Ela pode coletar informações facilmente.
- Esta ferramenta é usada por pesquisadores de segurança, testadores de penetração e investigadores de crimes cibernéticos para encontrar informações confidenciais de vítimas-alvo.
- Obteremos um nome completo, nome próprio, sexo, detalhes de emprego, perfis sociais, fotos
- Ferramenta de coleta de informações OSINT
- Gasmask é uma ferramenta OSINT completa. É usada por caçadores de bugs, testadores de penetração e outros pesquisadores de segurança cibernética para coletar informações de fontes publicamente disponíveis.
- Esta ferramenta reúne informações de Ask, cessys.io, Bing, dnsdumpter, vírus total
- Existem dois modos nesta ferramenta: o modo básico e o modo não Google
- É uma ferramenta de busca de violação de senha e ferramenta OSINT de e-mail
- O H8mail pode encontrar mais de bilhões de credenciais fracas para descobrir a senha
- Pode ser usado para encontrar senhas em texto simples e violações massivas de dados usando apenas o e-mail de uma pessoa. A fonte padrão é o Scylla.
- Ferramenta para estrutura de scraping OSINT
- Para iniciar vetores de ataque para reconhecimento, normalmente precisamos pagar para obter resultados de mineração de dados (Maltego).
- O Skip Tracer foi criado para consultar e analisar serviços de terceiros de forma automatizada, para aumentar a produtividade, enquanto realiza pesquisas e investigações de antecedentes.
- Usando esta ferramenta, podemos coletar dados OSINT de placas de veículos e obteremos informações sobre o veículo para uso.
- Ferramenta OSINT de reconhecimento web tudo-em-um
- Esta ferramenta é usada principalmente para reconhecimento web. É uma ferramenta de script Python rápida e simples.
Esta ferramenta pode extrair dados como,
a) Informações do cabeçalho b) WHOIS c) Detalhes do certificado SSL d) Rastreador
➢ Conclusão
- A Dark Web provou ser uma ferramenta muito útil e confiável nas mãos de indivíduos que desejam se envolver em atividades ilegais, criminosas ou terroristas, tráfico de crianças, pornografia, visando obter grandes benefícios econômicos ou políticos sem serem identificados por autoridades governamentais e agências de segurança no mundo todo.
- Para isso, as agências policiais e de segurança precisam se tornar mais ágeis ao lidar com a criminalidade na Dark Web, e em particular em seus Mercados de Serviços Ocultos, e precisam investir em novos treinamentos e tecnologias.
- Os atuais avanços tecnológicos e esforços de pesquisa nas áreas de Recuperação de Informações, Análise de Redes e Perícia Digital oferecem às Autoridades Legais inúmeras oportunidades para superar as limitações e restrições impostas pela natureza anônima da Dark Web, tanto para impedir que criminosos tirem vantagem do véu de anonimato existente em diversas darknets quanto para suprimir quaisquer atos ilegais que ocorram nessas redes.
- As tecnologias de TIC atingiram um nível substancial de maturidade para dar suporte confiável às LEAs; portanto, as ferramentas fornecidas devem ser exploradas em investigações reais do dia a dia nos próximos anos.
- Ao mesmo tempo, é imperativo que as Autoridades Locais de Proteção de Dados também garantam o uso adequado dessas tecnologias, a fim de proteger a liberdade de expressão e os direitos humanos dos usuários que exploram o anonimato da Dark Web com intenções benéficas para a sociedade. Nesse contexto, fica claro que coletar OSINT da Dark Web é uma questão de vital importância para o esforço contínuo de reduzir as ameaças potenciais que ameaçam as sociedades modernas.
- Gerar link
- X
- Outros aplicativos
OSINT NEWS NO X
Postagens mais visitadas
Comandos Google Dorks
- Gerar link
- X
- Outros aplicativos
ELICITAÇÃO PROFISSIONAL AVANÇADA
- Gerar link
- X
- Outros aplicativos
Lamborghini Gallardo V10
- Gerar link
- X
- Outros aplicativos

Comentários
Postar um comentário