CRAWLER A análise de redes para mídias sociais

Ferramentas para Análise de Redes e Grafos em Mídias Sociais

26/12/2015

A análise de redes para mídias sociais é uma das grandes tendências em expansão na área de pesquisa e análise de dados online. Apesar de técnicas do tipo serem utilizadas por profissionais e pesquisadores, ainda há muito a ser divulgado e abraçado por pessoas e organizações. O curso Análise de Redes para Mídias Sociais, assim como nossos serviços e consultorias na área, busca ajudar a avançar o conhecimento da ARS no Brasil.

Listamos abaixo alguns softwares úteis para a análise de redes em mídias sociais que não exigem conhecimento de programação dos usuários. Caso não conheça a análise de redes, confira antes o documento Iniciação a Redes, traduzido pelo IBPAD.

#1 – NodeXL

O software NodeXL é um dos grandes responsáveis pela popularização de análise de redes para mídias sociais. Com apoio da Microsoft Research, o programa foi desenvolvido pela Social Media Research Foundation como um add-in para o Excel. Isto permite uma curva de aprendizado relativamente pequena, ajudando a popularizar a metodologia.

O NodeXL permite diversos tipos de coleta de redes de indivíduos/perfis e conteúdo em Twitter, Facebook, Flickr, YouTube e emails.

É útil especialmente para redes de (relativo) pequeno porte, até cerca de 15 mil vértices. Gosto particularmente de alguns recursos próprios para redes pequenas, como o agrupamento por Motif (Fan, D-Connector, Cliques) e a disposição de cluster em caixas:

O projeto mantem uma galeria online, a NodeXL Gallery onde é possível acessar visualizações, resumo dos dados e os datasets originais:

Analyzing Social Media Networks with NodeXL é um extensivo guia do software, publicado por três de seus criadores, Marc Smith, Derek Hansen e Ben Shneiderman. No Brasil, o recém-lançado livro Análise de Redes para Mídia Social, de Raquel Recuero, Marco Bastos e Gabriela Zago é uma interessante introdução ao tema, baseado sobretudo em casos de uso do NodeXL, incluindo prefácio do Marc Smith.

Até recentemente o software era totalmente gratuito. Em outubro de 2015 foi dividido na versão Basic, que traz pouquíssimos recursos úteis e a versão Pro, com coleta avançada (até 18 mil tweets por vez). Os valores são muito competitivos: 29 dólares/ano para estudantes, 199/ano para usuários acadêmicos ou não-comerciais e 749/ano para uso comercial.

#2 – Gephi

O Gephi, por sua vez, tem a capacidade de processar redes gigantescas a depender da capacidade do computador. O software hoje é um dos mais utilizados para todos os tipos de sistemas complexos e não só análise de redes sociais. Em torno do Gephi Consortium, que tem como sede o Médialab Sciences Po da Universidade de Paris, há várias universidades, organizações e pesquisadores/desenvolvedores individuais dedicados ao avanço da plataforma.

A ampla comunidade de desenvolvedores e pesquisadores trabalhando com o Gephi permite a criação e atualização de recursos e plugins com rapidez e solidez. Um dos plugins que permitem a coleta de dados Twitter direto pelo Gephi, o Naoyun:

Seu plugin Sigmajs Exporter, desenvolvido pela OII Institute em cima da biblioteca JavaScript feita por pesquisadores da SciencesPo Media Lab, permite gerar redes visualizáveis e navegáveis de forma interativa em websites. O exemplo abaixo é uma rede do famoso estudo Dining Table Partners publicada por Jacob Moreno em livro de 1960, adaptada por nós para fins pedagógicos:

#3 – Netlytic

Desenvolvido por Anatoliy Gruzd, diretor do Social Media Lab e colaboradores, o Netlytics é um software online de análise de redes e texto a partir de diversas mídias sociais. É possível coletar dados de APIs abertas e buscas do Twitter, Facebook, Instagram, YouTube, RSSs e ainda extrair dados de texto, CSV ou Google Drive.

Uma das vantagens, a depender do escopo da pesquisa, são os valores. Os dois primeiros planos com respectivamente 2500 e 10.000 registros, são gratuitos para estudantes, interessados e pesquisadores. O terceiro plano, com até 100.000 registros, possui valores negligenciáveis para projetos comerciais. Leia mais: artigo Enabling Community Through Social Media, de Anatoliy Gruzd e Caroline Haythornwaite.

#4 – IssueCrawler (e ferramentas DMI)

O IssueCrawler foi desenvolvido pelo Digital Methods Initiative, grupo de pesquisa da Universidade de Amsterdam. O DMI é responsável por muito do que há de melhor em pensamento e atuação sobre métodos digitais de pesquisa no mundo atualmente. A criação de ferramentas para mapeamento de controvérsias é central em seu trabalho. A IssueCrawler é uma das principais do grupo, permitindo mapear redes de sites listados pelo usuário ou até com a técnica de snowballing (até 3 graus de profundidade).

A IssueCrawler foi utilizada em diversas produções intelectuais do grupo, com destaque para os livros Information Politics on the Web e Digital Methods. Para além da IssueCrawler, o grupo mantem um repositório que inclui mais de 2 dúzias de ferramentas para diferentes fins de pesquisa. Algumas delas, produzidas pelo pesquisador Bernhard Rieder, permitem coletar dados em rede no Facebook, Tumblr, Disqus, Instagram e YouTube: Netvizz Facebook, Instagram Network, Netvizz Tumblr, Disqus comment scraper, YouTube Data Tools.

#5 – Socioviz

Socioviz é um projeto italiano para mapeamento de redes no Twitter, sobretudo para jornalistas e pesquisadores. A versão gratuita busca até 100 tweets, enquanto o plano básico de 19 dólares busca até 5000 tweets. Planos maiores podem ser negociados diretamente com a empresa. Leia mais sobre no blog do Alessandro Zonin.

#6 – Flocker

Flocker é um projeto experimental desenvolvido pelo grupo espanhol Outliers, que atende diversas empresas na Europa. A visualização permite observar as redes de retweets de um termo de busca qualquer, em tempo real. A partir daí é possível ver alguns processamentos dos dados (como nuvem de palavras e ranking) e exportar a rede em formato de imagem ou gexf.

#7 – VOSON/Uberlink

A VOSON/Uberlink é um crawler de redes entre websites (páginas, blogs e afins) do Virtual Observatory for the Study of Online Networks na Australian National University. Além da coleta, processamento e exportação dos dados, também possui interfaces gráficas para visualização (os planos maiores possuem interfaces mais elaboradas).

Os planos da Uberlink são baseados no processamento de dados contados em “Voson Activity Units” (VAU). A versão free dá direito a 50 VAU, a Professional a 500 VAU por 20 dólares e a Premium a 5000 VAU por 99 dólares.

 #8 – Linkfluence/Radarly

Uma das pioneiras no desenvolvimento de módulos de análise de redes sociais integrados a ferramentas de monitoramento, a Linkfluence, empresa francesa, gera visualizações de redes a partir do que já foi coletado pela ferramenta. Este avanço é muito importante para as aplicações comerciais, uma vez que populariza a metodologia ao permitir que o analista prescinda de conhecimento prévio, além de otimizar custos (de ferramenta e recursos humanos).

#9 – Pulsar

De origem italiana, o software de CRM Pulsar Analytics incorporou funcionalidades de visualização de redes. Seu VP de produto, Francesco D’Orazio, publica excelentes artigos sobre pesquisa digital.

#10 – V-Tracker

Também pioneira no país, a V-Tracker oferece visualização e exportação de redes de perfis e hashtags no Twitter, para clientes do porte de FSB, CDN e InPress. Módulo desenvolvido em parceria com o Max Stabile, fundador do IBPAD.

Os planos variam de R$500 (5 mil ocorrênias) a R$6.000 (servidores dedicados).

#11 – Sysomos

A Sysomos é uma das fornecedoras de ferramentas de monitoramento de mídias sociais mais relevantes do mundo. Lançada em 2007 por pesquisadores da Universidade de Toronto, já possuía em sua solução Sysomos MAP recurso de visualização de relações entre palavras há bastante tempo, mas lançou em 2015 um módulo específico para análise de redes e monitoramento de clusters descobertos na estrutura das conexões. Como trendsetter do mercado, a Sysomos deve influenciar mais ferramentas a implementarem funcionalidades de análise de redes sociais.

#12 – Digimind

A Digimind é uma empresa francesa de softwares de inteligência competitiva. Em 2007 lançou plataforma para clipagem de notícias e em 2013 ferramenta de monitoramento de mídias sociais. Neste ano lançou também seu módulo de análise de influenciadores no Twitter:

#13 – Crimson Hexagon

A Crimson Hexagon também tem anunciado funcionalidades para análise de audiência utilizando princípios de redes:

#14 – Affinio

A Affinio busca aplicar a análise de redes na descoberta de clusters e grupos de consumidores e usuários no Twitter. O output é o mapeamento de preferências de cada grupo, através da medição de follows, palavras-chave e outras informações.

#16  – Bluenod

Bluenod é um aplicativo simples de exploração de dados sobre hashtags ou @usernames no Twitter, que traz a visualização de redes como recurso central. Merece destaque o recurso de identificação de tipos de redes baseados no estudo da Pew Research / NodeXL.