Como coletar nomes de participantes e URLs de perfil de páginas de eventos

Facebook OSINT: Como coletar nomes de participantes e URLs de perfil de páginas de eventos

13 de fevereiro de 2019de Sean Lawson

Os dados do Facebook são super úteis para investigações de inteligência de fonte aberta (OSINT) e pesquisa acadêmica. O Facebook não facilita a coleta de dados de seu site. Jake Creps fez uma pergunta em seu blog OSINT   sobre como coletar listas de pessoas que se identificaram no Facebook como tendo participado de certos eventos. Neste post, mostrarei um método que usei para coletar esses dados.

Mas primeiro ... Por quê?

Eu tenho interesse em coletar esse tipo de dados por razões semelhantes às que Creps articulou em seu post. Embora eu normalmente não pense no que faço como “OSINT”, algumas das minhas pesquisas anteriores analisaram o papel do uso de mídias sociais por grupos de protesto e movimentos sociais. Isso inclui trabalhos sobre o movimento para promover blogs militares nos Estados Unidos, o papel central das novas tecnologias de mídia nos protestos de Occupy Wall Street e o papel das mídias sociais nos primeiros anos da guerra civil na Síria. Desde a eleição do presidente Donald Trump em 2016, vimos o surgimento de novos grupos de protesto tanto na direita quanto na esquerda nos Estados Unidos, muitos deles ajudados em um grau significativo por seu uso inteligente das mídias sociais.

A Oração Patriótica é um desses grupos que chamou a atenção de muitos observadores dessas tendências e servirá como estudo de caso para este post. Este grupo é baseado no Noroeste Pacífico dos EUA, em Vancouver, Washington e Portland, Oregon. A maioria dos relatórios de mídia identifica um homem chamado Joey Gibson como líder do grupo. O grupo realizou dezenas de protestos e manifestações desde 2017 e Gibson chegou a concorrer ao Senado em 2018.

Claro, qualquer movimento requer o apoio de mais de uma pessoa. Isso levanta a questão de quem, além de Gibson e de quaisquer associados mencionados nos noticiários, são os principais seguidores ou apoiadores do movimento Patriot Prayer.

Nós podemos ser capazes de obter algumas idéias, observando as listas de participantes de eventos passados ​​da Oração Patriótica. Mais especificamente, podemos observar quem assiste regularmente a esses eventos. A suposição é que aqueles que estão participando da maioria dos eventos são os principais apoiadores do movimento. Analisar os perfis deles pode nos ajudar a responder perguntas básicas sobre demografia (por exemplo, sexo, idade, raça), motivações para apoiar o movimento, questões que preocupam os apoiadores do movimento, outros eventos ou grupos que participaram ou apoiaram, etc. isso, por sua vez, pode nos ajudar a entender melhor o rápido surgimento desse grupo e a atenção da mídia nacional que ele conquistou como resultado.

Como coletar os dados

Para o método a seguir, você precisará de algumas coisas:

• Navegador da web Chrome
• Extensão do navegador do Linkclump
• Conhecimento básico da estrutura do documento html
• Algumas habilidades básicas de planilha para começar a analisar os dados

O primeiro passo é navegar para uma página de evento e clicar no link para mostrar uma lista pop-up de interessados, convidados e planejando comparecer ou já comparecer (dependendo se o evento já ocorreu ou não). Observe que nem todas as páginas do evento terão a opção de ver essas informações. Se é exibido ou não, depende do administrador da página. Alguns optam por não exibir esses dados. No caso do Patriot Prayer, esses dados estão disponíveis para a maioria dos primeiros eventos do grupo. O administrador parece ter ocultado esses dados para eventos posteriores. No entanto, podemos coletar o suficiente dos primeiros eventos para ter uma ideia de quem foram os “primeiros adotantes”.

Em seguida, vamos querer selecionar "foi" dos links ao longo do topo do pop-up. Role até o final do pop-up para garantir que todos os dados sejam carregados.

Agora vamos abrir as ferramentas de desenvolvedor do Google Chrome escolhendo "Desenvolvedor ..." no menu Visualizar ou pressionando CMD + Alt + I no Mac, Ctrl + Alt + I no Windows. Depois disso, pressionaremos Ctrl + F (Windows) ou CMD + F (Mac) para abrir o localizador de ferramentas do desenvolvedor. Cole “uiScrollableAreaContent” no localizador. Deve haver alguns resultados. Percorra cada resultado até que o conteúdo pop-up seja destacado em azul. Agora encontramos o elemento pai que contém todos os dados de que precisamos. Ao rolar para a parte inferior do pop-up, garantimos que todos os dados sejam carregados, embora não possamos vê-los.

Agora que você encontrou o elemento, clique com o botão direito do mouse nas ferramentas do desenvolvedor, escolha "Copiar" e, em seguida, "Copiar elemento". Isso copiará todo o código HTML bruto contido no elemento pai. Nesse caso, essa será uma lista de todos os participantes do evento, suas fotos de perfil, nomes e URLs de perfil na forma de uma tabela html.

Agora que copiamos o html bruto que contém os dados que precisamos, vamos abrir um editor de texto e criar uma página da web simples para manter nosso código copiado. Para que o código seja exibido corretamente, precisaremos envolvê-lo no início e no final das tags html e body, conforme mostrado na imagem abaixo.

Colocaremos o código que copiamos das ferramentas do desenvolvedor no ponto entre as tags html e body de abertura e fechamento e, em seguida, salvamos com a extensão de arquivo “.html”.

Depois disso, podemos abrir nosso arquivo html no Chrome. Agora temos uma página da Web simples que lista todos os nomes de participantes, mostra uma foto de perfil e fornece um link para a página de perfil de cada participante.

Podemos salvar esta página como parte de nossos dados de pesquisa. No entanto, podemos ir além e criar uma lista de nomes e links de perfil usando a extensão do Chrome, Linkclump. Depois de instalar o Linkclump a partir da loja on-line do Chrome, precisaremos ativá-lo para trabalhar em páginas locais seguindo estas instruções da documentação do Linkclump:

"Para usar em páginas locais (ou seja, file: // URLs), você precisa ir para a página de extensões (chrome: // extensions) e marcar a opção 'Permitir acesso a URLs de arquivo' para a extensão Linkclump".

Em seguida, abriremos as opções Linkclump e escolheremos uma combinação de teclas para ativar o Linkclump. Também queremos selecionar a opção para copiar url com título para a área de transferência.

Agora podemos usar o Linkclump em todos os nomes de participantes no arquivo local que criamos. Tente arrastar apenas os nomes, sem incluir as imagens do perfil. Nós só queremos os nomes e links.

Agora podemos colar os resultados em um arquivo de texto ou uma planilha. Os nomes vão para uma coluna e os URLs de perfil para outra.

Se adicionássemos uma coluna para o nome do evento e começássemos a coletar dados de vários eventos, poderíamos usar algumas funções básicas da planilha (por exemplo, exclusivo, contagem etc.) para localizar as pessoas que participaram do maior número de eventos. Na verdade, fiz isso há um ano.

O que agora?

Aqui está o resultado dos nove primeiros eventos do grupo. A partir disso, podemos ver que 672 pessoas afirmaram ter participado de um dos nove eventos da Oração Patriota. Apenas quatro pessoas afirmaram ter participado de seis ou sete dos nove eventos examinados.

Também podemos pegar apenas o número bruto daqueles que disseram que estavam interessados ​​em relação àqueles que disseram que participaram e examinaram essas tendências ao longo do tempo. Como poderíamos esperar, geralmente mais pessoas dizem que estão interessadas do que realmente participar. Também percebemos os fluxos e refluxos de interesse em eventos de Oração Patriótica ao longo do tempo, com alguns eventos tendo um desempenho melhor do que outros em termos de interesse e participação. Esses dados podem servir de base para análises adicionais que comparem e contrastem os recursos de eventos de sucesso versus eventos mal atendidos. Por exemplo, desses primeiros nove eventos, aqueles que foram anunciados como apoiando o Presidente Trump, a liberdade de expressão ou a liberdade em geral tiveram um desempenho melhor do que os dois eventos “antifa watch”.

Conclusão

Espero que você dê uma chance ao método descrito acima. Pode parecer um pouco complicado no começo, mas uma vez que você tenha feito isso uma ou duas vezes, é realmente muito indolor. Com um pouco de prática, você pode entrar em um ritmo e a coleta se torna muito mais eficiente. Embora haja muita coisa que possa ser automatizada na coleção OSINT, também há muito que ainda requer um bom e antiquado trabalho duro. Tanto quanto sei, este é um desses casos. Tenho certeza de que existem outras maneiras de coletar esse tipo de dados, provavelmente alguns que são mais eficientes do que os que descrevi aqui. Mas esta é a maneira que eu encontrei para fazer isso. Se você souber de outra maneira, eu adoraria ouvir sobre o que você faz.