Quando se pensa em análise de dados, a primeira ideia que surge é a aplicação desse conhecimento na tomada de decisões. Ou seja, como o resultado dos dados mudam processos. Mas, para que os cientistas possam de fato trabalhar essas informações, eles precisam entender com que dados estão lidando. Por isso, o primeiro passo é a análise exploratória.
A análise exploratória é o momento em que o cientista de dados observa as informações de seu projeto e resume as características que já estejam mais claras.
Ou seja, antes de começar a processá-los, já é possível observar os tipos de dados, padrões, anomalias e outros pontos de partida para análises mais profundas.
Também é uma oportunidade de testar hipóteses antes de envolver mais trabalho: com a análise exploratória, o especialista pode detectar se os dados e suas visualizações realmente oferecem aquilo que ele precisa para desenvolver sua pesquisa ou se os dados não são suficientes, minimizando a oportunidade de erros futuros.
Objetivos da análise exploratória
A análise exploratória não é útil apenas para cientistas de dados e outros especialistas em dados. Como eles são fundamentais em todos os segmentos, é possível ter uma visão panorâmica mesmo antes de inserir algoritmos e análises aprofundadas.
Pelo contrário, com essa pausa para checagem dos dados, os tomadores de decisões podem determinar se é necessário fazer mais coleta para adquirir o insight que buscam.
Em contextos de coleta recorrente, como em machine learning, ter a dimensão do tipo e da quantidade dos dados inseridos ajuda a entender o mecanismo de comunicação com os sistemas.
Ou seja, assim como outros aspectos da tecnologia e da inteligência artificial, a análise exploratória traz informações valiosas e com embasamento – características fundamentais para qualquer negócio ou profissional. Confira algumas aplicações práticas dessa etapa:
1. Responder perguntas, notar desvios, determinar intervalos
Imagine que uma empresa faz coletas de informações sobre o público de seu e-commerce. Existe uma variedade de informações, que podem ser relevantes ou não. Por exemplo, o tempo passado no site, a quantidade de cliques, a conversão em compras, os motivos das desistências, etc.
Para determinar os fatores de desistência, por exemplo, quais podem ser as razões? Na prática, as variáveis são múltiplas, então pode ser interessante isolá-las para determinar intervalos específicos que poderão ser analisados.
Nesse caso, o cientista de dados pode notar que se determinar como intervalo apenas os clientes que moram no mesmo estado que a loja, ele terá uma taxa de desistência baixa. Isso aponta para uma pesquisa mais aprofundada sobre custos de envios posteriormente.
Assim, essa visão primária funciona como um ponto de partida que determina o curso de análises futuras.
Também é um passo importante em relação aos desvios. Por exemplo, no cadastro, é pedido aos clientes da loja inserir a data de nascimento.
A loja poderia determinar as personas de clientes com base nisso, mas o que fazer se, por desatenção, alguns clientes digitarem idades muito acima ou abaixo da média? Aqui, notar o que desvia do padrão antes de gerar insights é essencial.
2. Métricas básicas e tipos de dados
Também é importante, ao trabalhar com processamento de dados, ter visão ampla sobre suas relações. Muitas vezes, por atuar em conjuntos específicos, as análises aprofundadas não permitem esse olhar.
É por isso que a análise exploratória auxilia a mostrar o contexto, deixando mais claro o tipo de dado coletado, a melhor forma de processá-los, as amostragens, etc.
No mesmo exemplo do e-commerce, a análise exploratória ajuda a determinar o volume de vendas, a quantidade de clientes e pedidos, as taxas de retenção, etc.
Leia também: O profissional de marketing precisa aprender ciência de dados? Confira!
3. Insights de negócios
Ainda que cada vez mais seja necessário elaborar estratégias de dados para criar planos de negócios, existem informações que podem ser coletadas desde a primeira análise exploratória. Pelo volume e tipo de dado coletado, já é possível notar padrões sobre sua base.
Um exemplo prático é de um curso universitário. Ao criar uma base de dados com informações dos alunos, nota-se que há uma tendência de determinado rendimento nos processos seletivos.
Ou seja, mesmo antes de se aprofundar nas informações, já é possível analisar quem está chegando ao produto que a empresa oferece e como utilizar os recursos para atrair esse público.
4. Planejamento de estratégias
A análise exploratória, assim como a ciência de dados como um todo, é essencial para um planejamento eficiente.
Se, por exemplo, um supermercado percebe que determinados produtos têm maior demanda em determinada época do mês, pode criar uma estratégia de ofertas relacionadas a esse ciclo.
O setor do marketing se baseia nessas análises para determinar cursos de ação. Ao notar que a empresa atinge determinado público nas redes sociais, pode ser necessário adequar ou redirecionar a estratégia para maximizar o investimento e fidelizar mais pessoas com o perfil que combina com o produto vendido.
5. Alimentar machine learning
O machine learning, uma técnica de alimentação recorrente de sistemas para automatizar tarefas e análises, exige conhecimentos em ciência de dados.
Os sistemas automatizados facilitam a visualização das informações. Mas, para eles serem verossímeis, é preciso que os dados passem pelo crivo da análise exploratória, evitando o repasse de desvios e informações incorretas.
Leia também: Inteligência artificial e machine learning são a mesma coisa? Confira!
Tipos de análise exploratória
Não existe apenas um tipo de análise exploratória: por ter aplicações tanto na ciência de dados quanto na prática profissional, existem múltiplas formas de incorporar essa prática para embasar e acelerar a tomada de decisões. Confira os principais tipos a aeguir!
Univariada sem gráficos
Essa análise exploratória é a modalidade mais simples. Ela visa determinar a qualidade dos dados e métricas básicas relacionadas a um fator (ou variável) e não contém uma representação gráfica.
Por exemplo, para analisar a média de ticket de vendas de uma loja, pode-se usar essa forma de análise. Se cliente A gastou R$50, cliente B gastou R$110, cliente C R$85 e cliente D R$220, é só somar o total, R$465, e dividir pelo número de clientes, 4, totalizando R$116,5 de ticket médio.
Univariada com gráficos
Principalmente quando se tratam de dados relacionados à grandeza ou quantia, a análise exploratória univariada se beneficia de gráficos. Esses gráficos facilitam a visualização e comparação.
Um método comum de mostrar esses resultados é por meio de um histograma. Esse gráfico mostra a distribuição de frequência, ou seja, quantas vezes aquela informação apareceu.
O exemplo abaixo mostra uma utilização desse método, analisando o peso ao nascer de bebês do sexo feminino:
crédito: Zilma SNReis, CC BY-SA 4.0 <https://creativecommons.org/licenses/by-sa/4.0>, via Wikimedia Commons
Multivariada sem gráficos
A análise exploratória multivariada permite ir além das informações primárias. Nesse contexto, a ideia é obter insights relacionando diferentes partes de informações, para determinar futuros caminhos práticos.
Por exemplo, na mesma loja que quer determinar o ticket médio, é interessante dividir os clientes por forma de pagamento. Se cliente A gastou R$50 à vista, cliente B gastou R$110 à vista, cliente C R$85 à vista e cliente D R$220 em 3x, além do ticket médio de R$116, também podemos obter a informação de que as opções de parcelamento tendem a aumentar o ticket do cliente.
Claro que, por ser uma análise exploratória, ela não responde todas as perguntas e variáveis, mas pode ser um ótimo ponto de partida para escolher itens em que será necessário focar os esforços.
Multivariada com gráficos
A proposta dessa análise é notar não apenas o impacto de cada informação, mas a relação entre elas e a visualização do contexto.
A representação, que pode estar na forma de mapa de calor, gráfico bolhas, diagrama duplo, gráficos de dispersão, entre outros, permite ver a influência que uma variável tem sobre a outra.
Pode ser usado para pesquisas censitárias, de saúde ou até mesmo de correlação entre hábitos. Na prática, como é possível notar no gráfico abaixo, essa forma de visualização ajuda a evidenciar os desvios, para determinar o intervalo claro, o desvio padrão e potenciais erros.
7 Ferramentas de análise exploratória
Para transformar dados brutos em exemplos mais claros e escaneáveis, é preciso utilizar as ferramentas certas. Isso exige conhecimento em linguagens de programação, lógica, ferramentas de processamento e visualização.
Um cientista de dados pode fazer essa ponte, levando as informações primárias até outras equipes e profissionais, para auxiliar a determinar as ações necessárias. Com elas, será possível identificar intervalos, desvios, focos e muito mais.
Entre os conhecimentos necessários para realizar uma análise exploratória estão:
1. Python e R
Python é uma linguagem dinâmica e versátil da programação que tem diferentes aplicabilidades, inclusive a tradução de bancos de dados.
Por sua natureza conectiva, otimiza a análise exploratória, mostrando itens que faltam em conjunto de dados e ajudando a identificar anomalias. Considerando que tem foco na construção de aplicativos simples, também pode ser usada para automatizar determinadas tarefas, auxiliando a manter a produtividade da análise exploratória.
Já a linguagem R é mais voltada para o uso estatístico e computacional. Ou seja, os cientistas de dados podem usá-la para identificar padrões e escolher intervalos adequados com que trabalhar.
2. Excel
O Excel é uma ferramenta fundamental em qualquer segmento. Na ciência de dados, não poderia ser diferente. É com ele que é possível criar gráficos, comparar informações, usar funções para detectar erros, registrar logs, montar dashboards excel que guiam projetos, etc.
Por ter uma usabilidade prática e ser conhecido por diferentes profissionais, o excel também é útil para fazer pontes entre equipes de dados e outros setores de uma empresa.
A habilidade de traduzir e clarificar a informação é essencial para qualquer cientista de dados ter sucesso e isso envolve ter bons hábitos de comunicação e tornar os processos mais claros para quem precisa.
3. Business intelligence
Todo profissional precisa ter noções de business intelligence, não importa o setor. Ter habilidade de planejar uma estratégia e contextualizar as ações de uma organização ajuda não apenas no crescimento dela, mas também a alavancar carreiras e empreendimentos.
Para uma análise exploratória, na verdade, essa competência é fundamental. Ela exige que o profissional tenha uma visão mais panorâmica dos processos, focando não apenas no resultado imediato, mas também nos impactos futuros e na correlação entre os dados.
Pensar em dados e negócios em conjunto é parte do profissional do futuro.
Agora que você já entendeu como funciona e qual a importância da análise exploratória, confira nosso artigo sobre processamento de dados: o que é, tipos e como se tornar um especialista!