O que é OSINT em 2021? composta de crescimento anual de 17%,

Já existem tecnologias OSINT disponíveis que permitirão às empresas coletar informações sobre seus concorrentes. Os desenvolvimentos também terão um impacto significativo no ambiente de negócios, obrigando as empresas a serem mais abertas e transparentes sobre suas atividades e produtos. As oportunidades para alavancar OSINT, portanto, já existem.

No futuro, as tecnologias OSINT se tornarão mais avançadas e serão capazes de coletar mais dados sobre pessoas físicas e jurídicas. As oportunidades para negócios aumentarão e aqueles que perderem as oportunidades perderão informações valiosas. Enquanto olhamos para o futuro, precisamos nos perguntar quais fontes abertas podem ser usadas para coleta de dados. A resposta é quase tudo. Com as novas tecnologias ficando online diariamente, não há como dizer onde veremos o OSINT em 2021 e além.

Definição e conceitos

Para definir "inteligência de código aberto" (OSINT), primeiro é necessário definir "inteligência". Inteligência militar é a coleta, processamento e uso de informações para fornecer orientação e direção para auxiliar os comandantes em suas decisões. Inteligência de negócios é essencialmente a mesma coisa, com os comandantes sendo os líderes de negócios.

O Departamento de Defesa dos Estados Unidos (DoD) define OSINT como "uma inteligência produzida a partir de informações disponíveis publicamente e é coletada, explorada e disseminada em tempo hábil para um público apropriado com a finalidade de atender a um requisito de inteligência específico". A inteligência de código aberto difere de outros tipos de inteligência porque estão publicamente disponíveis, o que significa que são acessíveis ao público sem violar quaisquer direitos autorais ou leis de privacidade. Como resultado, as empresas podem acessar ferramentas de código aberto para explorar informações e aprender sobre seus concorrentes.

Existem quatro categorias de informações e inteligência de código aberto:

Dados de código aberto (OSD) : dados genéricos de uma fonte primária, como imagens de satélite, dados de chamadas telefônicas e metadados, conjuntos de dados, dados de pesquisa, fotografias e gravações de áudio e vídeo
Informações de código aberto (OSINF) : dados genéricos que foram selecionados com base em um critério específico, como livros sobre um assunto específico, artigos, dissertações, obras de arte e entrevistas
Inteligência de código aberto (OSINT) : todas as informações que foram descobertas e filtradas para atender a uma necessidade ou propósito específico. OSINT pode ser usado diretamente em qualquer contexto de inteligência - é a saída do processamento de material de informação de código aberto
Inteligência de código aberto validada (OSINT-V) : OSINT que pode ser confiável com um alto grau de certeza. Isso é essencial porque alguns “adversários” podem espalhar OSINT imprecisos para enganar a análise OSINT.

Também é importante distinguir entre dados, informações e conhecimento. Os dados são fatos nítidos: “o preço da prata é de US $ 28 por onça”. As informações são dados interpretados dentro de um contexto específico: “o preço da prata por onça aumentou de US $ 25 para US $ 28 em uma semana”. Por último, o conhecimento é o insight aprendido ou inferido de informações e experiência.

Usos de OSINT

As empresas usam as ferramentas OSINT principalmente para descobrir oportunidades de crescimento futuro e monitorar as atividades dos concorrentes. Dada a onipresença da Internet, as empresas com um orçamento limitado podem se beneficiar do uso de ferramentas de inteligência de código aberto em sua estratégia de negócios.

As empresas usam as ferramentas OSINT por outros motivos, incluindo os seguintes:

Para lutar contra o vazamento de dados, evite a exposição de informações confidenciais e proteja-se contra ameaças cibernéticas que atacam as vulnerabilidades de segurança de suas redes
Para criar estratégias de inteligência de ameaças e desenvolver políticas relacionadas ao gerenciamento de risco cibernético para proteger suas finanças, reputação comercial e base de clientes

OSINT é especificamente útil para empresas que trabalham na indústria de defesa, como tal; as empresas precisam estar totalmente cientes das circunstâncias que envolvem seus clientes para desenvolvê-los e direcioná-los com o equipamento apropriado.

Os testadores de penetração são frequentemente contratados por empresas para invadir redes internas e mostrar onde estão as fraquezas e como manter pessoas de fora. Os hackers de black hat exploram essas vulnerabilidades para obter acesso não autorizado. Hackers e testes de penetração geralmente usam ferramentas de informação de código aberto para aprender informações sobre os alvos a serem explorados. As ferramentas OSINT também são uma ferramenta eficaz para conduzir ataques de engenharia social.

Os serviços de segurança corporativa privada também empregam ferramentas OSINT. Eles conduzem verificações individuais: com seus próprios funcionários, alta administração e funcionários, e os diretores executivos e acionistas de seus contratados. As perguntas feitas incluem: “Esta é uma empresa offshore ou não? Quem é o verdadeiro dono? Houve algum negócio sombrio? Qual é a fonte dos fundos? ” Saber as respostas a essas perguntas é fundamental para a conformidade legal e realizar a devida diligência antes da execução de qualquer negócio importante.

Muitas organizações agora estão usando as ferramentas OSINT para investigar fraudes em seguros . OSINT ajuda na investigação de fraudes de seguro, fornecendo ao investigador o histórico do segurado, como se o segurado já fez alguma reclamação anteriormente. Ao reunir informações sobre todas as partes envolvidas em um sinistro, o investigador pode determinar se os sinistros são válidos ou não.

As agências de aplicação da lei (LEAs) usam inteligência de código aberto para investigar, processar e, talvez o mais significativo, prever e prevenir o crime e a agitação social. Cada vez mais, as LEAs usam comunicações de mídia social disponíveis ao público ou inteligência social (SOCMINT) nesses esforços. O SOCMINT abrange uma vasta quantidade de material, incluindo Facebook, tweets, vídeos hospedados no YouTube e comentários em jornais públicos online / sites de notícias de TV.

Riscos Legais Potenciais

A utilização do SOCMINT pelas LEAs levanta um dos principais riscos jurídicos enfrentados pelos utilizadores das ferramentas OSINT, nomeadamente a potencial violação dos estatutos de privacidade. Grande parte do OSINT conterá “dados pessoais” conforme entendido no Regulamento Geral de Proteção de Dados da UE (GDPR) e contribuirá para a “vida pessoal”, no sentido da Convenção Europeia sobre Direitos Humanos (EHCR). Essas leis proíbem a coleta, disseminação e uso de dados pessoais e o desrespeito à vida privada de um indivíduo.

A visão legal geral é que a SOCMINT não deve ter proteção sob essas leis porque alguém que escolheu voluntariamente revelar sua vida pessoal e privada ao olhar público não tem expectativa razoável de privacidade. A lei está evoluindo, no entanto, e os defensores da privacidade argumentam que o que pode ser obtido do SOCMINT não é apenas a parte óbvia (texto, fotos, vídeos e links), mas também a rede de amigos do "gráfico social" que pode ser extraída de um perfil de mídia social. Um comentarista jurídico dos EUA expressou a opinião de que a vigilância da mídia social é um dispositivo secreto para escapar das fortes proteções da Quarta Emenda dos EUA contra a busca sem justificativa de material privado.

Desafios enfrentados pelo usuário OSINT

Todas as metodologias de coleta de inteligência têm algumas limitações. OSINT enfrenta os seguintes desafios:

Sobrecarga de dados : as informações de código aberto produzem uma grande quantidade de dados valiosos para análise. Existem ferramentas automatizadas para esse propósito, e muitas organizações, incluindo governos, desenvolveram ferramentas de IA para filtrar e processar os dados adquiridos. No entanto, o grande volume de dados continuará a ser um desafio

Confiabilidade das fontes : as fontes de inteligência de código aberto requerem uma verificação completa de fontes classificadas para serem confiáveis. Os governos podem distribuir informações imprecisas que enganem o processo de coleta de OSINT

Esforços humanos: os humanos devem examinar a saída gerada por ferramentas automatizadas, incluindo IA, para determinar se as informações de código aberto são confiáveis. Esse processo consome tempo e recursos humanos, visto que as informações devem ser comparadas a dados sigilosos (nos casos com informações militares e comerciais).

Técnicas e métodos OSINT

É importante identificar as diferentes classes de dados porque a coleta de dados (geralmente chamada de “organização de dados ”) é a primeira etapa no processo de inteligência de código aberto. Dados estruturados são dados altamente organizados, como dados mantidos em bancos de dados relacionais típicos com um modelo de dados subjacente que descreve cada tabela, campo e os relacionamentos entre eles. Os dados não estruturados não têm um modelo de dados definido antecipadamente e nenhuma estrutura organizacional de pré-requisitos (isso inclui o conteúdo de páginas da web, livros, áudio, vídeo e outros arquivos que não são lidos ou interpretados facilmente por máquinas). A análise de dados não estruturados depende muito do processamento de linguagem natural bem como processamento de imagem.

Entre os dados estruturados e não estruturados estão os dados semiestruturados, também chamados de "dados autodescritivos". Esse tipo de dado é particularmente representativo do tipo de informação acessível pela web, como o tipo de dado disponível por meio de APIs RESTful (por exemplo, Twitter).

Os dados de código aberto são obtidos por:

Pesquisas manuais (muitas vezes demoradas)
Rastreadores da web e spiders (a automação de pesquisas manuais; unir um rastreador da web a um processador que testa a relevância das páginas reduz o conjunto de resultados)
Metadados da web (o HTML de uma página da web contém tags que descrevem a página)
APIs (por exemplo, a API de pesquisa do Bing fornece acesso automatizado aos resultados de uma consulta específica)
Dados abertos (não dados de código aberto, mas um subconjunto deles; publicados em um formato legível por máquina para aumentar a transparência)
Mídia social
Mídia tradicional
RSS (Really Simple Syndication, um método legível por máquina, baseado em um formato XML, de publicação de informações sobre quais novos artigos, postagens, etc., foram adicionados a um site)
Literatura cinzenta. (Artigos, relatórios, white papers e outras literaturas que não se enquadram na categoria de fontes abertas normais nem nos dados consentidos, mas ainda podem conter informações úteis para investigações de inteligência de fonte aberta.)
Dados pagos e dados consentidos
Dados sobre as Webs Deep e Dark. (A deep web é todo o conteúdo da Internet que não pode ser indexado pelo Google ou outros mecanismos de pesquisa. A dark web é uma parte específica da deep web que só pode ser acessada por meio do uso de navegadores específicos como o Tor ou mesmo de operação específica sistemas como o Tails.)

Extração de informação e mineração de texto

Se os dados extraídos não forem estruturados, eles devem ser movidos para um estado estruturado - esse processo é chamado de extração de informações. O exemplo mais comum desse processo é a análise de texto em linguagem natural e a extração de entidades e eventos específicos ou a categorização do texto. Existem várias bibliotecas e APIs para auxiliar no processamento de linguagem natural (NLP), como NLTK, Gate e AlchemyAPI do Python.

A extração do corpo principal é o processo de criar a estrutura HTML de uma página da web e extrair dela apenas o texto que compõe o artigo e não as imagens e links adjacentes que você veria se visualizasse a página da web em um navegador. As ferramentas usadas incluem Flipboard, Evernote's WebClipper, Goose, Alchemy API e Aylien. Extração de entidade é o processo de obtenção da identidade das entidades encontradas na data. Entidades são objetos reais, como pessoas (ou seja, nomes), organizações e lugares mencionados no texto. Eles também podem incluir objetos como datas e horas, números de telefone, endereços de e-mail, URLs, produtos e até mesmo números de cartão de crédito. A extração de entidade, também chamada de reconhecimento de entidade nomeada, pode ser realizada usando métodos linguísticos, baseados em padrões ou estatísticos de aprendizado de máquina. As ferramentas usadas incluem AlchemyAPI, Aylien e Rosette.

Análise de dados

Também é importante a análise do contexto em que os dados são colocados. A modelagem de relação de entidade usa a ideia de que a linguagem natural segue uma estrutura específica: Assunto — Predicado — Objeto. O sujeito é a pessoa que realiza a ação, o predicado é a própria ação e o objeto é quem / o que / onde a ação foi realizada. A modelagem de relação de entidade permite identificar não apenas a entidade, mas a ação à qual ela está associada. Essas informações são muito mais valiosas do que a simples extração de entidades, pois fornecem imediatamente informações sobre o contexto em que a entidade aparece e oferece mais opções para a análise subsequente.

Uma vez que os dados são extraídos e estruturados, eles devem ser validados e analisados. Foi dito que "a principal diferença entre 'operações' OSINT básicas e excelentes está no processo analítico." A seguir estão os principais tipos de análise textual ou PNL:

Processamento de texto (o método do "saco de palavras", concordância, colocações e o modelo de espaço vetorial)
Desambiguação de sentido de palavra (o problema de identificar o verdadeiro significado de uma palavra quando ela tem várias definições, muitas vezes resolvidas por técnicas de aprendizado de máquina)
Análise de sentimento (analisa a linguagem para determinar a emoção subjacente, que foi usada pela Polícia Metropolitana de Londres, que começou a usá-la após os distúrbios de 2011 em Londres)

Agregação e outros conceitos analíticos

Os documentos também podem ser analisados entre si em um processo conhecido como agregação. As técnicas de agregação incluem agrupamento de documentos, que usa as ferramentas matemáticas de redução de dimensão, decomposição de valor singular e escalonamento multidimensional. A relação dos dados é o foco da análise de rede e da análise de rede social. Existem várias estatísticas e medidas associadas à análise de rede que fornecem informações que ajudam a compreender como as posições de diferentes entidades na rede afetam o seu funcionamento, a mais simples das quais é a centralidade de grau, que é simplesmente a entidade na rede com a maioria das conexões com outras entidades na rede, dando uma medida de qual entidade está mais conectada dentro da rede.

Outros conceitos analíticos incluem:

Redes de co-ocorrência
Resolução de localização
Geocodificação e geocodificação reversa

Finalmente, uma análise completa do OSINT requer a validação das informações de código aberto. O manual de informações de código aberto da OTAN sugere que se deve avaliar:

A autoridade da fonte
A precisão da fonte (validando-a com outras fontes)
A objetividade da fonte (que é onde a análise de sentimento pode ajudar)
A moeda (o fornecimento de um carimbo de data / hora para publicação e a presença de um autor)
A cobertura (o grau de relevância)

Ferramentas comuns de OSINT

Aqui está uma lista de algumas das ferramentas OSINT mais populares, com uma breve descrição de cada uma:

Maltego é um aplicativo de inteligência de código aberto usado para descobrir, classificar e vincular informações de diferentes fontes, incluindo mídia social. O programa foi projetado para ajudar os profissionais de segurança a correlacionar rapidamente dados de fontes distintas e fornece uma visualização baseada em gráfico para mostrar redes de relacionamentos e associações entre pessoas, organizações e outros assuntos. A variedade completa de ferramentas OSINT aplicadas em Maltego estão sendo usadas junto com o produto Social Links Pro, incluindo a funcionalidade de mais de 1000 métodos de pesquisa e recursos
SpiderFoot é uma plataforma OSINT para avaliações de segurança. A ferramenta rastreia informações relacionadas a endereços IP, nomes de domínio e endereços de e-mail. Essa plataforma é projetada para permitir a coleta rápida e fácil de informações sobre uma organização, host ou indivíduo alvo
Gamayun é uma ferramenta OSINT que facilita a condução de investigações na Internet por meio da coleta de dados de sites públicos. A ferramenta permite a descoberta de indivíduos com base em parâmetros específicos, como e-mails ou fotos, e encontra perfis de redes sociais relevantes
O mecanismo de pesquisa Spyse varre a Internet em busca de informações técnicas e é comum entre os hackers no reconhecimento cibernético. O usuário pode recuperar informações relevantes aos domínios, como IPs e registros DNS. O banco de dados contém informações sobre mais de 1,2 bilhão de domínios
theHarvester é uma ferramenta simples que serve como uma etapa de reconhecimento eficaz antes do teste de penetração, theHarvester é uma ferramenta de reconhecimento projetada para engenheiros sociais e profissionais de segurança. A ferramenta funciona recuperando informações de mecanismos de pesquisa, incluindo e-mails, nomes, subdomínios e portas abertas
Creepy é uma ferramenta OSINT para informações sobre geolocalização. As informações são coletadas em várias plataformas de redes sociais. A ferramenta apresenta os resultados da pesquisa em um mapa. O usuário pode inserir um nome de usuário do Twitter ou Flickr, e a ferramenta analisa as postagens para determinar o local e a hora
Recon-ng é uma estrutura de reconhecimento da web que permite aos usuários pesquisar em uma variedade de sites de mídia social para coletar várias formas de dados disponíveis publicamente (por exemplo, nomes de usuário, domínios, números de telefone, endereços de e-mail e endereços IP). A estrutura pode ser usada para engenharia social, inteligência competitiva e coleta de informações gerais
Searchcode é um mecanismo de pesquisa que verifica a documentação da API, trechos de código e repositórios de código aberto. O banco de dados contém mais de 20 bilhões de linhas de código-fonte aberto indexado. Os usuários podem pesquisar termos incluídos nas linhas de código, como nomes de usuário, falhas de segurança e caracteres especiais usados para lançar ataques de injeção de código
O Shodan é um mecanismo de busca que fornece resultados sobre informações relacionadas aos ativos que estão conectados à rede. O Shodan, que também está disponível no SL Pro, também pode ser usado por profissionais de segurança para localizar empresas que estão coletando e usando grandes quantidades de dados confidenciais ou para localizar dispositivos domésticos inseguros
Metagoofil é uma ferramenta que tem sido usada para coletar metadados de centenas de sites relacionados à defesa, tecnologia, guerra de informação, terrorismo e outros. Ele pode encontrar e baixar metadados de sites que os tenham disponíveis e também recuperar o HTML completo de sites que foram truncados

Investigações notáveis feitas com ferramentas OSINT

O Departamento de Justiça dos Estados Unidos (DOJ) usa regularmente métodos OSINT para identificar criminosos. O DOJ usou técnicas OSINT na campanha “ Operação Chupeta ” de 2015 para obter informações sobre um site de pornografia infantil e identificar os proprietários.

Em 2015, uma investigação Darkweb foi conduzida de uma comunidade online extremista chamada Iron March. O site hospedou discussões sobre tópicos como terrorismo, instabilidade política e tortura. Os métodos OSINT foram usados para determinar o perfil médio de um usuário da Marcha de Ferro e a eficácia da plataforma em conectar extremistas.

Outra investigação que utilizou ferramentas OSINT foi em 2016, quando a Agência Nacional do Crime (NCA) do Reino Unido derrubou a rede Avalanche , que foi responsável por infectar mais de 4 milhões de computadores rodando principalmente sistemas operacionais Microsoft Windows e gerando cerca de US $ 5 milhões por mês em receita de publicidade fraudulenta .

O Futuro do OSINT

Espera-se que o mercado global de ferramentas de inteligência de código aberto cresça a uma taxa composta de crescimento anual de 17%, chegando a quase US $ 12 bilhões em 2026 . O aumento das informações de código aberto, juntamente com o aumento das ameaças à segurança, provavelmente aumentará a demanda pelo OSINT. Uma IA cada vez mais sofisticada e poderosa deve permitir que o OSINT se torne cada vez mais perspicaz e valioso. No entanto, as ferramentas de inteligência de código aberto, e particularmente o SOCMINT, enfrentam desafios significativos, entre os quais a crescente pressão para proteger os direitos de privacidade e o aumento de dados incorretos e manipulados espalhados por malfeitores na Internet.

Manual de osint

Ache aqui

Open Source Intelligence Brasil

DOE AGORA Qualquer valor