🕵️♂️ MetaDetetive
Libere a inteligência de metadados com o MetaDetective.
Reduzindo o abismo na extração e análise de metadados.
📘 Explore a documentação completa · 🎥 Ver demonstração · 🐞 Relatar bug · 🛠️ Solicitar recurso
MetaDetective_trailer_promocional.mp4
Clique para recolher/expandir
MetaDetective: Análise avançada de metadados e extração de dados da web.
Metadados, no âmbito da segurança cibernética, são mais do que apenas informações incorporadas; são uma porta de entrada para perspectivas profundas, muitas vezes revelando pistas cruciais em OSINT e testes de penetração.
À medida que ferramentas-chave como Metagoofil no Kali Linux mudaram sua trajetória para longe da análise pura de metadados, a exigência por uma alternativa robusta assumiu o centro do palco. Entra o MetaDetective .
Inspirando-se em ferramentas fundamentais como Metagoofil, o MetaDetective surge como uma iteração revitalizada e aprimorada, dedicada a fornecer extração e apresentação eficientes de metadados. Ele se destaca como uma ferramenta Python 3 abrangente, projetada propositalmente para preencher as lacunas existentes na análise de metadados.
Além da mera extração, o MetaDetective se orgulha de sua capacidade de categorizar e exibir metadados meticulosamente. Seja lidando com um arquivo individual ou uma matriz deles, a ferramenta garante que os usuários compreendam todo o espectro de dados, tanto em sua amplitude quanto em sua profundidade.
Enquanto o Metagoofil antes se apoiava nas buscas do Google — um método cheio de restrições de IP e o labirinto de soluções alternativas de proxy — o MetaDetective é pioneiro em um caminho com web scraping direto. Ao mirar sites diretamente, ele evita interrupções, entregando um conjunto de dados que não é apenas mais rico, mas também mais preciso, destacando potenciais vazamentos de dados.
Embora agora seja independente e ofereça suas próprias funções, incluindo scraping, o MetaDetective não é apenas um gigante autônomo. Ele foi criado para integração e sinergia perfeitas com ferramentas como o Metagoofil. Uma adição essencial ao kit de ferramentas de cada pentester e pesquisador OSINT, o MetaDetective amplia a proeza de aquisição de dados e amplia os horizontes da análise.
( 🔼 Voltar ao topo )
Antes de iniciar o processo de instalação, certifique-se de atender aos seguintes pré-requisitos.
Python 3 : certifique-se de que o Python 3 esteja instalado no seu sistema antes de iniciar o processo de instalação.
Exiftool : Dada a sua simplicidade, o MetaDetective não depende de nenhuma dependência ou biblioteca externa. No entanto, ele necessita do exiftool. Certifique-se de ter o exiftool configurado no seu sistema.
⚠️ Nota : O MetaDetective foi rigorosamente testado com o Python 3.11.4 no Linux junto com o exiftool versão 12.56. Embora possa funcionar com outras versões, a compatibilidade é garantida apenas com essas configurações específicas.
- Git clona o repositório :
git clone https://github.com/franckferman/MetaDetective.git- Download direto : para pular a clonagem e baixar diretamente o script (projetado para simplicidade e flexibilidade, não depende de nenhum pacote externo, então se você só precisa do script, também pode baixá-lo diretamente):
curl -O https://raw.githubusercontent.com/franckferman/MetaDetective/stable/src/MetaDetective/MetaDetective.py- Instalação do Pip :
- Crie e ative um ambiente virtual:
python3 -m venv MetaDetectiveEnv
source MetaDetectiveEnv/bin/activate- Instalar o MetaDetective:
pip install MetaDetective- Integração com Docker :
Para uma configuração baseada no Docker, consulte nosso guia específico do Docker: Configuração do MetaDetective Docker .
( 🔼 Voltar ao topo )
Certifique-se de adaptar seu comando de acordo com a configuração que você fez MetaDetective.
Comece com a ajuda integrada para explorar as funcionalidades do MetaDetective:
python3 src/MetaDetective/MetaDetective.py -h| Tarefa | Comando |
|---|---|
| Analisar todos os arquivos no diretório | python3 src/MetaDetective/MetaDetective.py -d examples/ |
| Tipos específicos e padrões de ignorar | python3 src/MetaDetective/MetaDetective.py -d examples/ -i ^admin anonymous -t doc pdf |
| Exibir todos os resultados para cada arquivo | python3 src/MetaDetective/MetaDetective.py -d examples/ -t all --display all |
| Tarefa | Comando |
|---|---|
| Exportação padrão (HTML) | python3 src/MetaDetective/MetaDetective.py -d examples/ --export |
| Exibição formatada, exportação de txt | python3 src/MetaDetective/MetaDetective.py -d examples ---format formatted -e txt -o ~/ |
| Tarefa | Comando |
|---|---|
| Digitalizar sem baixar | python3 src/MetaDetective/MetaDetective.py --scraping --scan --url https://example.com/ |
| Digitalizar sem baixar apenas arquivos PDF | python3 src/MetaDetective/MetaDetective.py --scraping --scan --url https://example.com/ --extensions pdf |
| Baixar para o diretório especificado | python3 src/MetaDetective/MetaDetective.py --scraping --download-dir ~ --url https://example.com/ |
| Baixar com profundidade definida | python3 src/MetaDetective/MetaDetective.py --scraping --depth 1 --download-dir ~ --url https://example.com/ |
Para iniciar o modo web scraping, use o --scrapingsinalizador. Lembre-se, esta opção não funciona de forma independente. Ela requer um parâmetro scanning ou download.
- Ativando o modo de web scraping :
python3 src/MetaDetective/MetaDetective.py --scraping- Verificação e exibição de estatísticas : certifique-se de que tanto a URL quanto
--scanos sinalizadores sejam usados.
python3 src/MetaDetective/MetaDetective.py --scraping --scan --url https://example.com- Verifica tipos de arquivo específicos e exibe estatísticas relacionadas : certifique-se de que tanto a URL quanto
--scanos sinalizadores sejam usados e use--extensionsseguido por uma lista de tipos de arquivo desejados (por exemplo, pdf docx png).
python3 src/MetaDetective/MetaDetective.py --scraping --scan --url https://example.com --extensions pdf docx xlsx pptx- Baixando conteúdo da web : indique o diretório desejado
--download-dire forneça o URL de destino.
python3 src/MetaDetective/MetaDetective.py --scraping --download-dir ~ --url https://example.com- Baixa conteúdo da web de tipos de arquivo específicos : indique o diretório desejado usando
--download-dir, forneça o URL de destino e os tipos de arquivo desejados com--extensions.
python3 src/MetaDetective/MetaDetective.py --scraping --download-dir ~ --url https://example.com --extensions pdf docx xlsx pptx- Ajustando a profundidade da raspagem : use o
--depthsinalizador para especificar a profundidade com que o raspador deve navegar pelos links.
python3 src/MetaDetective/MetaDetective.py --scraping --scan --url https://example.com --depth 1Rastreamento de link externo : use
--follow-externpara permitir o rastreamento de links externos (aqueles fora da URL base). Normalmente não é aconselhável, mas pode ser útil em certos contextos.Gerenciamento de threads : use
--threadspara especificar o número de threads para operações simultâneas.Limitação de taxa : use
--ratepara controlar o número máximo de solicitações por segundo.
Para começar a analisar arquivos, você usará o sinalizador -dou .-f
-dou--directory: Selecione um diretório contendo um ou vários arquivos.-fou--files: Escolha um ou vários arquivos específicos.
Analisar o conteúdo de um diretório.
python3 src/MetaDetective/MetaDetective.py -d examplesAnalisar o conteúdo de um arquivo.
python3 src/MetaDetective/MetaDetective.py -f examples/MetaDetective.docxAnalise o conteúdo de vários arquivos.
python3 src/MetaDetective/MetaDetective.py -f examples/MetaDetective-APTX_4869_report.pdf examples/MetaDetective-Kogoro_s_Choice.pdfVocê pode filtrar para analisar tipos de arquivo específicos:
| Tarefa | Comando |
|---|---|
| Especifique um tipo de dados | python3 src/MetaDetective/MetaDetective.py -d directory -t pdf |
| Adicionar vários tipos de dados | python3 src/MetaDetective/MetaDetective.py -d directory -t pdf doc |
| Incluir todos os tipos | python3 src/MetaDetective/MetaDetective.py -d directory -t all |
Se você quiser omitir palavras-chave específicas dos metadados exibidos, use o sinalizador -iou --ignore. Por exemplo, você pode querer excluir nomes de usuários comuns como "admin" durante a fase de reconhecimento do seu pentest. Padrões de regex são suportados, por exemplo, ^BeginBy.
| Tarefa | Comando |
|---|---|
| Excluir resultados específicos | python3 src/MetaDetective/MetaDetective.py -d directory -i anonymous |
| Excluir vários termos | python3 src/MetaDetective/MetaDetective.py -d directory -i anonymous admin administrateur |
| Exclusões de regex | python3 src/MetaDetective/MetaDetective.py -d directory -i anonymous ^admin |
Adapte a exibição dos seus resultados de acordo com suas preferências:
| Tarefa | Comando |
|---|---|
| Mostrar metadados de cada arquivo | python3 src/MetaDetective/MetaDetective.py --display all |
| Resultados singulares sem duplicatas | python3 src/MetaDetective/MetaDetective.py --display singular |
Modifique ainda mais sua exibição com estes:
| Tarefa | Comando |
|---|---|
| Exibição elegante | python3 src/MetaDetective/MetaDetective.py --display all --format formatted |
| Visual mais simples | python3 src/MetaDetective/MetaDetective.py --display all --format concise |
O MetaDetective oferece flexibilidade na exportação de resultados de análise.
Por padrão, usar a opção --exportou -esalvará seus resultados em um formato HTML. Este design garante um relatório visualmente atraente para sua análise.
Se você preferir um .txtformato, isso também é possível. Alterne entre os formatos usando o sinalizador -eou --exportseguido pelo formato desejado: -e txtou -e pdf.
A exportação usará, por padrão, um nome predefinido anexado com um timestamp. Para personalizar esse nome, você pode anexar um sufixo usando o sinalizador -cou .--custom
Além disso, o argumento --outor -opermite que você especifique o caminho do diretório para seus dados exportados.
Esteja ciente : As opções displaye format, como discutido anteriormente, influenciarão a apresentação do seu documento exportado, seja no formato HTML ou TXT. A representação de dados pode diferir entre os dois formatos.
| Tarefa | Descrição | Comando |
|---|---|---|
| Exportação HTML (padrão) | Produz um arquivo HTML chamado: MetaDetective_Export-<TIMESTAMP>.html. | python3 src/MetaDetective/MetaDetective.py -d directory -e |
| Exportação em formato TXT | Salve os resultados no formato TXT. | python3 src/MetaDetective/MetaDetective.py -d directory --export txt |
| Sufixo de nome de arquivo personalizado | Adicione um sufixo personalizado ao nome do arquivo. | python3 src/MetaDetective/MetaDetective.py -d directory -e --custom Pentest-MD_2 |
| Especificar diretório de saída | Defina o diretório para exportação de dados. | python3 src/MetaDetective/MetaDetective.py -d directory -e -o directory |
Nota : O formato de exportação pode afetar muito a apresentação e acessibilidade dos dados. Opte pelo formato que se alinha com seus requisitos.
( 🔼 Voltar ao topo )
Encontrando problemas? Não se preocupe. Se você encontrar algum problema ou tiver dúvidas, não hesite em enviar um ticket: Enviar um problema no GitHub
( 🔼 Voltar ao topo )
Nós realmente apreciamos e damos boas-vindas ao envolvimento da comunidade. Suas contribuições, feedback e sugestões desempenham um papel crucial na melhoria do projeto para todos. Se você estiver interessado em contribuir ou tiver ideias para melhorias, sinta-se à vontade para abrir um problema ou enviar uma solicitação de pull em nosso repositório do GitHub. Cada contribuição, não importa quão grande ou pequena, é altamente valorizada e muito apreciada!
( 🔼 Voltar ao topo )
Esteja ciente de que o uso da MetaDetectiveferramenta pode estar sujeito a leis e regulamentos específicos em seu país ou região. Antes de usar esta ferramenta, é sua responsabilidade garantir que seu uso esteja em conformidade com as leis aplicáveis em sua jurisdição.
O criador de MetaDetectivenão pode ser responsabilizado por qualquer uso impróprio ou ilegal desta ferramenta. Ao usar MetaDetective, você reconhece e concorda que é o único responsável por cumprir com as leis e regulamentações locais.
Em alguns casos, o uso de MetaDetectivepode ser justificado para propósitos legítimos, como proteção contra regimes autoritários ou para questões de sobrevivência. No entanto, é altamente recomendável tomar todas as medidas necessárias para se proteger e cumprir a lei.
Ao usar MetaDetective, você reconhece ter lido este aviso e concorda em agir de acordo. O criador de MetaDetectivenão endossa de forma alguma o uso desta ferramenta para fins ilegais ou prejudiciais.
( 🔼 Voltar ao topo )
Explore a história deste projeto e veja como ele evoluiu ao longo do tempo:
Seu apoio é muito apreciado. Somos gratos por cada estrela! Seu apoio alimenta nossa paixão. ✨
Este projeto é licenciado sob a GNU Affero General Public License, Versão 3.0. Para mais detalhes, consulte o arquivo LICENSE no repositório: Leia a licença no GitHub
Comentários
Postar um comentário