DataSurgeon
Drew-Alleman/DataSurgeon
DataSurgeon v1.1.2
- Suporta Windows, Linux e MacOS
- Suporta análise recursiva de arquivos dentro de diretórios
Links Rápidos
- Recursos de extração
- Instalação rápida
- Argumentos da linha de comando
- Exemplos
- Testes de velocidade
- Atualizações recentes
- Problemas de relatórios
- Objetivos do Projeto
Recursos de extração
- E-mails
- arquivos
- Números de telefone
- Cartões de crédito
- IDs de chave privada da API do Google
- Números de Segurança Social
- Chaves da AWS
- carteiras bitcoin
- URL's
- Endereços IPv4 e endereços IPv6
- Endereços MAC
- Registros DNS SRV
- Extrair Hashes
- MD4 e MD5
- SHA-1, SHA-224, SHA-256, SHA-384, SHA-512
- SHA-3 224, SHA-3 256, SHA-3 384, SHA-3 512
- MySQL 323, MySQL 41
- NTLM
- bcrypt
Quer mais?
Por favor, leia as diretrizes de contribuição aqui
Instalação rápida
Guia de vídeo
Instale Rust e Github e REINICIE SEU TERMINAL.
Linux
wget -O - https://raw.githubusercontent.com/Drew-Alleman/DataSurgeon/main/install/install.sh | bash
janelas
Insira a linha abaixo em uma janela elevada do powershell.
IEX (New-Object Net.WebClient).DownloadString("https://raw.githubusercontent.com/Drew-Alleman/DataSurgeon/main/install/install.ps1")
Reinicie seu terminal e você poderá usar dsa partir da linha de comando.
Mac
curl --proto '=https' --tlsv1.2 -sSf https://raw.githubusercontent.com/Drew-Alleman/DataSurgeon/main/install/install.sh | sh
Argumentos da linha de comando
Guia de vídeo
Exemplos
Extraindo arquivos de um Webiste remoto
Aqui eu uso wgetpara fazer uma requisição ao stackoverflow então eu reencaminho o corpo do texto para ds. A -Fopção listará todos os arquivos encontrados. --cleané usado para remover qualquer texto extra que possa ter sido retornado (como html extra). Em seguida, o resultado de é enviado para uniqremover todos os arquivos não exclusivos encontrados. Se você quiser, pode remover a mensagem de aviso no topo 'Lendo entrada padrão..' usando -S.
$ wget -qO - https://www.stackoverflow.com | ds -F --clean | uniq
Extraindo endereços Mac de um arquivo de saída
Aqui estou puxando todos os endereços mac encontrados no arquivo de log do autodeauth usando a -mconsulta. A --hideopção ocultará a string do identificador na frente dos resultados. Nesse caso, 'mac_address:' está oculto na saída. A -Topção é usada para verificar a mesma linha várias vezes em busca de correspondências. Normalmente, quando uma correspondência é encontrada, a ferramenta passa para a próxima linha em vez de verificar novamente.
$ ./ds -m -T --hide -f /var/log/autodeauth/log
2023-02-26 00:28:19 - Sending 500 deauth frames to network: BC:2E:48:E5:DE:FF -- PrivateNetwork
2023-02-26 00:35:22 - Sending 500 deauth frames to network: 90:58:51:1C:C9:E1 -- TestNet
Lendo todos os arquivos em um diretório
Você pode usar a --directoryopção para ler todos os arquivos no diretório especificado recursivamente. A -Dopção é usada para exibir o nome do arquivo onde a correspondência foi encontrada.
$ ds --directory test_dir/ -D
Saída CSV
Para enviar seus resultados para um arquivo CSV, use a -oopção seguida do nome do arquivo no qual deseja salvar seus dados. O -De -Xsão suportados. O formato é: ds -o <FILENAME>.csv(.csv é necessário).
$ wget -qO - https://www.stackoverflow.com | ds -o output.csv -C
Testes de velocidade
Quando nenhuma consulta específica é fornecida, dspesquisará em todos os tipos de dados possíveis, o que é SIGNIFICATIVAMENTE mais lento do que usar consultas individuais. A consulta mais lenta é --files. Também é um pouco mais rápido de usar catpara canalizar os dados para arquivos ds.
Abaixo está o tempo decorrido ao processar um arquivo de teste de 5 GB gerado por ds-test . Cada teste foi executado 3 vezes e o tempo médio foi registrado.
Especificações do computador
Processor Intel(R) Core(TM) i5-10400F CPU @ 2.90GHz, 2904 Mhz, 6 Core(s), 12 Logical Processor(s)
Ram 12.0 GB (11.9 GB usable)
Pesquisando todos os tipos de dados
| Comando | Velocidade |
|---|---|
cat test.txt | ds -t | 00h:02m:04s |
ds -t -f test.txt | 00h:02m:05s |
cat test.txt | ds -t -o output.txt | 00h:02m:06s |
Usando consultas específicas
| Comando | Velocidade | Contagem de consultas |
|---|---|---|
cat test.txt | ds -t -6 | 00h:00m:12s | 1 |
cat test.txt | ds -t -i -m | 00h:00m:22 | 2 |
cat test.txt | ds -tF6c | 00h:00m:32s | 3 |
Atualizações recentes
25/04/2023 | 1.1.2
Esta atualização inclui a adição da dependência "walkdir". A opção de diretório é usada para processar todos os arquivos encontrados no diretório especificado, você ainda pode usar a opção -D ou --display para mostrar o arquivo onde a correspondência foi localizada.
25/04/2023 | 1.1.1
Inclua apenas linhas que correspondam ao regex especificado. (por exemplo: '--filter ^error' incluirá apenas as linhas que começam com a palavra 'error'
25/04/2023 | (Atualização do Windows Installer)
Após a reinstalação do DataSurgeon, o caminho de instalação "C:/ds/" foi anexado ao final do caminho da variável ambiental do usuário, mesmo que já estivesse instalado. (Fixo)
23/03/2023 | 1.1.0
refatoração pequena
21/03/2023 | 1.0.9
- Adicionado
--dropEspecifique uma expressão regular para excluir determinados padrões da pesquisa. (por exemplo,ds -f text.txt --drop \"^.{1,10}$\"ocultará todas as correspondências com menos de 10 caracteres)
Problemas de relatórios
Ao preencher um novo problema, responda TODAS as perguntas no modelo de bug . Problemas com informações insuficientes serão encerrados.
Objetivos do Projeto
- Saída JSON
- Descompactar/descompactar e um modo de pesquisa de diretório
- Base64 Detecção e decodificação
Comentários
Postar um comentário