snscrape
snscrape é um raspador para serviços de redes sociais (SNS). Ele coleta coisas como perfis de usuário, hashtags ou pesquisas e retorna os itens descobertos, por exemplo, as postagens relevantes.
Atualmente, os seguintes serviços são suportados:
- Facebook: perfis de usuários, grupos e comunidades (também conhecidas como postagens de visitantes)
- Instagram: perfis de usuários, hashtags e localizações
- Mastodon: perfis de usuário e toots (single ou thread)
- Reddit: usuários, subreddits e pesquisas (via Pushshift)
- Telegrama: canais
- Twitter: usuários, perfis de usuários, hashtags, pesquisas, tweets (tópico único ou adjacente), postagens de lista e tendências
- VKontakte: perfis de usuário
- Weibo (Sina Weibo): perfis de usuários
Requisitos
snscrape requer Python 3.8 ou superior. As dependências do pacote Python são instaladas automaticamente quando você instala o snscrape.
Observe que uma das dependências, lxml, também requer a instalação de libxml2 e libxslt.
Instalação
pip3 install snscrape
Se você quiser usar a versão de desenvolvimento:
pip3 install git+https://github.com/JustAnotherArchivist/snscrape.git
Uso
CLI
A sintaxe genérica da CLI do snscrape é:
snscrape [GLOBAL-OPTIONS] SCRAPER-NAME [SCRAPER-OPTIONS] [SCRAPER-ARGUMENTS...]
snscrape --helpe snscrape SCRAPER-NAME --helpforneça detalhes sobre as opções e argumentos. snscrape --helptambém lista todos os raspadores disponíveis.
A saída padrão da CLI é a URL de cada resultado.
Algumas opções globais dignas de nota são:
--jsonlpara obter a saída como JSONL. Isso inclui todas as informações extraídas pelo snscrape (por exemplo, conteúdo da mensagem, data e hora, imagens; os detalhes variam de acordo com o raspador).--max-results NUMBERpara retornar apenas os primeiros NUMBERresultados.--with-entitypara obter um item na entidade que está sendo copiada, por exemplo, o usuário ou canal. Isso não é suportado em todos os raspadores. (Você pode usar isso junto com --max-results 0apenas para buscar as informações da entidade.)
Exemplos
Colete todos os tweets de Jason Scott (@textfiles):
snscrape twitter-user textfiles
Geralmente é útil redirecionar a saída para um arquivo para processamento adicional, por exemplo, no bash usando o nome do arquivo twitter-@textfiles:
snscrape twitter-user textfiles >twitter-@textfiles
Para obter os últimos 100 tweets com a hashtag #archiveteam:
snscrape --max-results 100 twitter-hashtag archiveteam
Biblioteca
Também é possível usar o snscrape como uma biblioteca em Python, mas isso não está documentado no momento.
Relatórios de problemas
Se você descobrir um problema com o snscrape, informe-o em https://github.com/JustAnotherArchivist/snscrape/issues . Se possível, execute snscrape com -vve --dump-localsinclua a saída do log, bem como os arquivos de despejo referenciados no log no problema. Observe que os arquivos podem conter informações confidenciais em alguns casos e podem ser usados para identificá-lo (por exemplo, se o serviço incluir seu endereço IP em sua resposta). Se você preferir organizar uma transferência de arquivo em particular, basta mencionar isso no problema.
Licença
Este programa é um software livre: você pode redistribuí-lo e/ou modificá-lo sob os termos da GNU General Public License publicada pela Free Software Foundation, seja a versão 3 da licença ou (a seu critério) qualquer versão posterior.
Este programa é distribuído na esperança de que seja útil, mas SEM QUALQUER GARANTIA; mesmo sem a garantia implícita de COMERCIABILIDADE ou ADEQUAÇÃO PARA UM FIM ESPECÍFICO. Consulte a Licença Pública Geral GNU para obter mais detalhes.
Você deve ter recebido uma cópia da Licença Pública Geral GNU junto com este programa. Caso contrário, consulte https://www.gnu.org/licenses/ .
Comentários
Postar um comentário