Ferramentas para Análise de Redes e Grafos em Mídias Sociais

26/12/2015

[:pb]A análise de redes para mídias sociais é uma das grandes tendências em expansão na área de pesquisa e análise de dados online. Apesar de técnicas do tipo serem utilizadas por profissionais e pesquisadores, ainda há muito a ser divulgado e abraçado por pessoas e organizações. O curso Análise de Redes para Mídias Sociais, assim como nossos serviços e consultorias na área, busca ajudar a avançar o conhecimento da ARS no Brasil.

Listamos abaixo alguns softwares úteis para a análise de redes em mídias sociais que não exigem conhecimento de programação dos usuários. Caso não conheça a análise de redes, confira antes o documento Iniciação a Redes, traduzido pelo IBPAD.

#1 – NodeXL

O software NodeXL é um dos grandes responsáveis pela popularização de análise de redes para mídias sociais. Com apoio da Microsoft Research, o programa foi desenvolvido pela Social Media Research Foundation como um add-in para o Excel. Isto permite uma curva de aprendizado relativamente pequena, ajudando a popularizar a metodologia.

O NodeXL permite diversos tipos de coleta de redes de indivíduos/perfis e conteúdo em Twitter, Facebook, Flickr, YouTube e emails.

É útil especialmente para redes de (relativo) pequeno porte, até cerca de 15 mil vértices. Gosto particularmente de alguns recursos próprios para redes pequenas, como o agrupamento por Motif (Fan, D-Connector, Cliques) e a disposição de cluster em caixas:

O projeto mantem uma galeria online, a NodeXL Gallery onde é possível acessar visualizações, resumo dos dados e os datasets originais:

Analyzing Social Media Networks with NodeXL é um extensivo guia do software, publicado por três de seus criadores, Marc Smith, Derek Hansen e Ben Shneiderman. No Brasil, o recém-lançado livro Análise de Redes para Mídia Social, de Raquel Recuero, Marco Bastos e Gabriela Zago é uma interessante introdução ao tema, baseado sobretudo em casos de uso do NodeXL, incluindo prefácio do Marc Smith.

Até recentemente o software era totalmente gratuito. Em outubro de 2015 foi dividido na versão Basic, que traz pouquíssimos recursos úteis e a versão Pro, com coleta avançada (até 18 mil tweets por vez). Os valores são muito competitivos: 29 dólares/ano para estudantes, 199/ano para usuários acadêmicos ou não-comerciais e 749/ano para uso comercial.

#2 – Gephi

O Gephi, por sua vez, tem a capacidade de processar redes gigantescas a depender da capacidade do computador. O software hoje é um dos mais utilizados para todos os tipos de sistemas complexos e não só análise de redes sociais. Em torno do Gephi Consortium, que tem como sede o Médialab Sciences Po da Universidade de Paris, há várias universidades, organizações e pesquisadores/desenvolvedores individuais dedicados ao avanço da plataforma.

A ampla comunidade de desenvolvedores e pesquisadores trabalhando com o Gephi permite a criação e atualização de recursos e plugins com rapidez e solidez. Um dos plugins que permitem a coleta de dados Twitter direto pelo Gephi, o Naoyun:

Seu plugin Sigmajs Exporter, desenvolvido pela OII Institute em cima da biblioteca JavaScript feita por pesquisadores da SciencesPo Media Lab, permite gerar redes visualizáveis e navegáveis de forma interativa em websites. O exemplo abaixo (clique para testar) é uma rede do famoso estudo Dining Table Partners publicada por Jacob Moreno em livro de 1960, adaptada por nós para fins pedagógicos:

#3 – Netlytic

Desenvolvido por Anatoliy Gruzd, diretor do Social Media Lab e colaboradores, o Netlytics é um software online de análise de redes e texto a partir de diversas mídias sociais. É possível coletar dados de APIs abertas e buscas do Twitter, Facebook, Instagram, YouTube, RSSs e ainda extrair dados de texto, CSV ou Google Drive.

Uma das vantagens, a depender do escopo da pesquisa, são os valores. Os dois primeiros planos com respectivamente 2500 e 10.000 registros, são gratuitos para estudantes, interessados e pesquisadores. O terceiro plano, com até 100.000 registros, possui valores negligenciáveis para projetos comerciais. Leia mais: artigo Enabling Community Through Social Media, de Anatoliy Gruzd e Caroline Haythornwaite.

#4 – IssueCrawler (e ferramentas DMI)

O IssueCrawler foi desenvolvido pelo Digital Methods Initiative, grupo de pesquisa da Universidade de Amsterdam. O DMI é responsável por muito do que há de melhor em pensamento e atuação sobre métodos digitais de pesquisa no mundo atualmente. A criação de ferramentas para mapeamento de controvérsias é central em seu trabalho. A IssueCrawler é uma das principais do grupo, permitindo mapear redes de sites listados pelo usuário ou até com a técnica de snowballing (até 3 graus de profundidade).

A IssueCrawler foi utilizada em diversas produções intelectuais do grupo, com destaque para os livros Information Politics on the Web e Digital Methods. Para além da IssueCrawler, o grupo mantem um repositório que inclui mais de 2 dúzias de ferramentas para diferentes fins de pesquisa. Algumas delas, produzidas pelo pesquisador Bernhard Rieder, permitem coletar dados em rede no Facebook, Tumblr, Disqus, Instagram e YouTube: Netvizz Facebook, Instagram Network, Netvizz Tumblr, Disqus comment scraper, YouTube Data Tools.

#5 – Socioviz

Socioviz é um projeto italiano para mapeamento de redes no Twitter, sobretudo para jornalistas e pesquisadores. A versão gratuita busca até 100 tweets, enquanto o plano básico de 19 dólares busca até 5000 tweets. Planos maiores podem ser negociados diretamente com a empresa. Leia mais sobre no blog do Alessandro Zonin.

#6 – Flocker

Flocker é um projeto experimental desenvolvido pelo grupo espanhol Outliers, que atende diversas empresas na Europa. A visualização permite observar as redes de retweets de um termo de busca qualquer, em tempo real. A partir daí é possível ver alguns processamentos dos dados (como nuvem de palavras e ranking) e exportar a rede em formato de imagem ou gexf.

#7 – VOSON/Uberlink

A VOSON/Uberlink é um crawler de redes entre websites (páginas, blogs e afins) do Virtual Observatory for the Study of Online Networks na Australian National University. Além da coleta, processamento e exportação dos dados, também possui interfaces gráficas para visualização (os planos maiores possuem interfaces mais elaboradas).

Os planos da Uberlink são baseados no processamento de dados contados em “Voson Activity Units” (VAU). A versão free dá direito a 50 VAU, a Professional a 500 VAU por 20 dólares e a Premium a 5000 VAU por 99 dólares.

 #8 – Linkfluence/Radarly

Uma das pioneiras no desenvolvimento de módulos de análise de redes sociais integrados a ferramentas de monitoramento, a Linkfluence, empresa francesa, gera visualizações de redes a partir do que já foi coletado pela ferramenta. Este avanço é muito importante para as aplicações comerciais, uma vez que populariza a metodologia ao permitir que o analista prescinda de conhecimento prévio, além de otimizar custos (de ferramenta e recursos humanos).

#9 – Pulsar

De origem italiana, o software de CRM Pulsar Analytics incorporou funcionalidades de visualização de redes. Seu VP de produto, Francesco D’Orazio, publica excelentes artigos sobre pesquisa digital.

#10 – BrandCare

Ferramenta australiano-brasileira, foi uma das pioneiras no Brasil ao lançar seus módulos de social network analysis para Twitter, Instagram e Facebook, sob minha batuta enquanto fui Gerente de Produto da Social Figures. O módulo foi utilizado por empresas como Petrobras/Ampfy, Medialogue (campanha Aécio Neves) e Rede Globo. Abaixo telas da visualização de redes e clusters de perfis no Twitter e de co-hashtags no Instagram:

Os planos básicos vão de 270 reais (para 5 mil menções) a 2 mil (100 mil menções) ou customizados para demandas maiores.

#11 – V-Tracker

Também pioneira no país, a V-Tracker oferece visualização e exportação de redes de perfis e hashtags no Twitter, para clientes do porte de FSB, CDN e InPress. Módulo desenvolvido em parceria com o Max Stabile, fundador do IBPAD.

Os planos variam de R$500 (5 mil ocorrênias) a R$6.000 (servidores dedicados).

#12 – Sysomos

A Sysomos é uma das fornecedoras de ferramentas de monitoramento de mídias sociais mais relevantes do mundo. Lançada em 2007 por pesquisadores da Universidade de Toronto, já possuía em sua solução Sysomos MAP recurso de visualização de relações entre palavras há bastante tempo, mas lançou em 2015 um módulo específico para análise de redes e monitoramento de clusters descobertos na estrutura das conexões. Como trendsetter do mercado, a Sysomos deve influenciar mais ferramentas a implementarem funcionalidades de análise de redes sociais.

#13 – Digimind

A Digimind é uma empresa francesa de softwares de inteligência competitiva. Em 2007 lançou plataforma para clipagem de notícias e em 2013 ferramenta de monitoramento de mídias sociais. Neste ano lançou também seu módulo de análise de influenciadores no Twitter:

#14 – Crimson Hexagon

A Crimson Hexagon também tem anunciado funcionalidades para análise de audiência utilizando princípios de redes:

#15 – Affinio

A Affinio busca aplicar a análise de redes na descoberta de clusters e grupos de consumidores e usuários no Twitter. O output é o mapeamento de preferências de cada grupo, através da medição de follows, palavras-chave e outras informações.

#16  – Bluenod

Bluenod é um aplicativo simples de exploração de dados sobre hashtags ou @usernames no Twitter, que traz a visualização de redes como recurso central. Merece destaque o recurso de identificação de tipos de redes baseados no estudo da Pew Research / NodeXL.

——

E como transformar dados e informações destas ferramentas em ações e insights para marcas, empresas, políticos e organizações? Venha aprender e conversar comigo e com o Max Stabile no curso Análise de Redes para Mídias Sociais em São Paulo e Brasília.[:en]

Analysing social media networks is one of the major trends on the increase in the area of online data research and analysis. Although techniques of this type are used by professionals and researchers, there is still a lot to be published and embraced by people and organisations. The Social Media Network Analysis course and our services and consultancy work in the area, seek to assist the advance of SNA knowledge in Brazil.

We have listed some software below which is useful for analysing social media networks that does not require any programming knowledge by users. If you are not aware of network analysis, start by taking a look at the Starting with Networks document translated by IBPAD.

#1 – NodeXL

NodeXL software played a large part in popularising social media network analysis. With support from Microsoft Research, the program was developed by the Social Media Research Foundation as an add-in for Excel. This allows a relatively gentle learning curve, helping to popularise the methodology.

NodeXL allows various types of collection from networks of individuals/profiles and Twitter, Facebook, Flickr, YouTube and email content.

It is really useful for relatively small networks of up to approximately 15,000 vertices. I particularly like some of the resources for small networks, such as grouping by Motif (Fan, D-Connector and Cliques) and the availability of clusters in boxes:

The project keeps an online gallery, NodeXL Gallery where you can access visualisations, data summaries and original datasets:

Analyzing Social Media Networks with NodeXL is an extensive software guide, published by three of its creators, Marc Smith, Derek Hansen and Ben Shneiderman. In Brazil, the recently-launched book Análise de Redes para Mídia Social (Network Analysis for Social Media), by Raquel Recuero, Marco Bastos and Gabriela Zago is an interesting introduction to the topic, above all based on cases which use NodeXL, and includes a preface by Marc Smith.

The software was completely free until recently. In October 2015, it was divided into the Basic version, which contains very few useful resources and Pro, with advanced collection (up to 18,000 tweets at a time). The prices are very competitive: USD 29/year for students, USD 199/year for academic or non-commercial users and USD 749/year for commercial use.

#2 – Gephi

In turn, Gephi has the capacity to process giant networks, depending on the computer’s capacity. The software is currently one of those most used for all types of complex systems, not only social network analysis. There are various universities, organisations and individual researchers/developers dedicated to advancing the platform around the Gephi Consortium, whose head offices are at the Médialab Sciences Po at the University of Paris.

The broad community of developers and researchers working with Gephi allows for the quick and solid creation and update of resources and plug-ins. One of the plug-ins allows the collection of Twitter data directly by Gephi, Naoyun:

Its Sigmajs Exporter plug-in, developed by the OII Institute on the JavaScript library by SciencesPo Media Lab researchers, allows the generation of viewable and navigable networks interactively on websites. The example below (click to test) is a network of the famous Dining Table Partners study published by Jacob Moreno in a book in 1960 and adapted by us for pedagogical purposes:

#3 – Netlytic

Developed by Anatoliy Gruzd, director of the Social Media Lab and contributors, Netlytics is online software to analyse networks and text from a range of social media. You can collect data from open APIs and Twitter, Facebook, Instagram, YouTube and RSSs searches and also extracts data from texts, CSV or Google Drive.

One of the advantages, depending on the scope of the research, is the cost. The first two plans with 2,500 and 10,000 records respectively, are free for students, interested parties and researchers. The third plan, with up to 100,000 records, has negligible costs for commercial projects. For further information, read the article Enabling Community Through Social Media, by Anatoliy Gruzd and Caroline Haythornwaite.

#4 – IssueCrawler (e ferramentas DMI)

IssueCrawler was developed by Digital Methods Initiative, a research group at the University of Amsterdam. DMI is responsible for much of the very best in thinking and activity on digital research methods in the world today. Creating tools to map controversies is central to its work. IssueCrawler is one of the group’s main programs, allowing networks of sites listed by the user or even with the snowballing technique (up to 3 levels of depth) to be mapped.

IssueCrawler has been used in several of the group’s intellectual productions, highlighting the books Information Politics on the Web and Digital Methods. In addition to IssueCrawler, the group keeps a repository which includes more than 20 tools for different research purposes. Some of these, produced by the researcher Bernhard Rieder, allows data collection in a network on Facebook, Tumblr, Disqus, Instagram and YouTube: Netvizz Facebook,Instagram Network, Netvizz Tumblr, Disqus comment scraper and YouTube Data Tools.

#5 – Socioviz

Socioviz is an Italian project for mapping Twitter networks, especially for journalists and researchers. The free version searches up to 100 tweets, while the basic USD 19 plan searches up to 5,000 tweets. Larger plans can be negotiated directly with the company. Read more about the subject in Alessandro Zonin’s blog.

#6 – Flocker

Flocker is an experimental project developed by the Spanish group Outliers, which assists various companies in Europe. Visualisation allows networks of retweets of any search term in real-time to be observed. Then you can see some data processing (such as a world cloud and ranking) and export the network in image or gexf formats.

#7 – VOSON/Uberlink

VOSON/Uberlink is a network crawler on websites (pages and blogs, etc) from the Virtual Observatory for the Study of Online Networks at the Australian National University. In addition to collecting, processing and exporting data, it also has graphic interfaces for visualisation (the larger plans have more complex interfaces).

The Uberlink plans are based on data processing counted in “Voson Activity Units” (VAUs). The free version gives you the right to 50 VAUs, Professional to 500 VAUs for USD 20 and Premium to 5,000 VAUs for USD 99.

 #8 – Linkfluence/Radarly

One of the pioneers in developing social network analysis modules integrated with monitoring tools, Linkfluence, a French company, produces network visualisations from what has already been collected by the tool. This advance is very important for commercial applications, as it popularises the methodology, analysts do not require prior knowledge, and it optimises costs (of tools and human resources).

#9 – Pulsar

Of Italian origin, CRM Pulsar Analytics’ software incorporated network visualisation functions. Its product VP, Francesco D’Orazio, publishes excellent articles on digital research.

#10 – BrandCare

An Australian-Brazilian tool, it was one of the pioneers in Brazil, launching its social network analysis modules for Twitter, Instagram and Facebook, under my leadership, while I was Product Manager at Social Figures. The module was used by companies such as Petrobras/Ampfy, Medialogue (Aécio Neves’ campaign) and Rede Globo. Below are visualisation screens of networks and profile clusters on Twitter and co-hashtags on Instagram:

The basic plans range from R$ 270 (for 5,000 mentions) to R$ 2,000 (100,000 mentions) or are customised for higher demands.

#11 – V-Tracker

Also a pioneer in the country, V-Tracker provides visualisation and the export of profile networks and hashtags on Twitter for clients such as FSB, CDN and InPress. The module was developed in partnership with Max Stabile, the founder of IBPAD.

Plans vary from R$500 (5,000 occurrences) to R$6,000 (dedicated servers).

#12 – Sysomos

Sysomos is one of the suppliers of the leading social media monitoring tools in the world. Launched in 2007 by researchers from the University of Toronto, it has had a visualisation resource of relationships between words in its Sysomos MAP solution for some time, but launched a specific module for network analysis and monitoring clusters discovered in connection structures in 2015. As a market trendsetter, Sysomos should influence more tools to implement social network analysis functions.

#13 – Digimind

Digimind is a French competitive intelligence software company. It launched a platform for news clippings in 2007 and a social medial monitoring tool in 2013. It also launched its module to analyse influencers on Twitter in the same year:

#14 – Crimson Hexagon

Crimson Hexagon has also announced functions for audience analysis using network principles:

#15 – Affinio

Affinio seeks to apply network analysis to discover clusters and groups of consumers and users on Twitter. The output is mapping each group’s preferences by measuring follows, keywords and other information.

#16  – Bluenod

Bluenod is a simple application to explore data on hashtags or @usernames on Twitter, which has network visualisation as a central resource. The resource to identify types of networks based on the Pew Research / NodeXL study should be highlighted.

——

How to transform data and information from these tools into actions and insights for brands, companies, politicians and organisations? Come and learn and talk to me and Max Stabile on the Social Media Network Analysis course in São Paulo and Brasília.[:]