Como Aproveitar a Grande Oportunidade de Dados sem Queimar  seu Orçamento

Até 2020, o universo digital alcançará 44 zettabytes, ou 44 trilhões de gigabytes, de acordo com a IDC. Traduzindo em streaming de vídeo, significa que você pode assistir a Copa do Mundo em HD para os próximos 5,5 bilhões de anos - aproximadamente enquanto a Terra estiver por perto.
Data Science - Video Streaming

Esse é um enorme volume de dados, que agora vem para empresas de navegadores, e-mails, telefones, sensores, arquivos de log, mídias sociais e muito mais. Porque os dados de hoje são tão diversos e mais ricos do que nunca em uma visão potencial, mas são mais difíceis de trata-los de forma eficaz.

É um desafio que nenhuma empresa pode ignorar. De acordo com o McKinsey Global Institute,  usar os dados para a empresa "tornar-se-ão uma base fundamental da concorrência e do crescimento". Em vez de atacar esse problema individualmente, ou mesmo em pequenas equipes, as empresas precisam construir uma cultura sistêmica de ciência dos dados. Usar a tecnologia certa e instilar uma abordagem científica dos dados em cada funcionário ajudará as empresas a permanecerem competitivas, mesmo diante da crescente concorrência por talentos em ciência da informação e volumes crescentes de dados complexos.

"Análises sofisticadas podem melhorar substancialmente a tomada de decisões, mitigar os riscos e detectar informações valiosas que de outra forma permaneceriam ocultas."
 Instituto Global Mckinsey

A Diferença entre Dados e Ciência de Dados

Em primeiro lugar, é importante estabelecer uma distinção entre a criação de dados e a criação de uma cultura de ciência dos dados. "Não é sempre fácil discernir uma conclusão correta ou precisa de gráficos e dados", diz Chad W. Jennings, cientista de dados de longa data com um Ph.D. na aeronáutica e astronáutica e no atual Googler. "Em uma cultura de ciência de dados, a comunidade ajuda a verificar os pressupostos, métodos e resultados claros. Há muito mais rigor aplicado para extrair conclusões de dados do que apenas lançar um gráfico em uma apresentação e declarando: "Aqui está o que isso significa".

Este rigor científico, observa Jennings, é fundamental para garantir que as conclusões corretas sejam extraídas dos dados. A ciência dos dados é exatamente o que parece: usando o método científico para obter informações sobre os dados. Para estabelecer as bases para uma cultura de ciência de dados, qualquer pessoa que interprete dados deve usar as melhores práticas científicas básicas: começando por uma hipótese, usando metodologia apropriada, documentando claramente os resultados, expressando conclusões em termos de significância estatística e margem de erro. Como outros cientistas, os cientistas de dados são inerentemente curiosos e criativos sobre quais perguntas fazer. Mas, assim como um químico precisa de um laboratório ou um geólogo precisa de um martelo, os cientistas de dados precisam ter acesso às ferramentas de dados e análises corretas para serem bem-sucedidas.

A responsabilidade de elaborar conclusões estatisticamente precisas com base em dados foi uma vez a competência exclusiva dos cientistas de dados profissionais. Mas até 2018, de acordo com McKinsey, "os EUA sozinhos podem enfrentar uma falta de 140.000 a 190.000 pessoas com habilidades analíticas profundas, bem como 1.5 milhões de gerentes e analistas com o know-how para usar a análise de dados importantes para tomar decisões efetivas. "
How to seize the big data opportunity without burning through your budget - data science
À medida que a concorrência pelos cientistas de dados se intensifica, a maioria das empresas precisará diversificar suas estratégias de talento. Cientistas de dados cidadãos - que, conforme definido na InformationWeek, são pessoas que alavancam a análise de dados, mas cujas principais funções de trabalho não são estatísticas ou análises - podem ser um complemento poderoso para os cientistas de dados internos, especialmente para as empresas que investem na construção de um cultura da ciência dos dados.

Para ser bem sucedido, os futuros cientistas de dados cidadãos precisam:
  • Acesso aos dados
  • Curiosidade
  • Facilidade com SQL
  • Experiência de domínio
  • Colaboração

O que isso parece na prática? Considere um gerente de conta técnica que suporte questões técnicas ou necessidades de grandes contas de clientes. Suponha que ela quer desempenhar um papel mais pró-ativo no sucesso de seus clientes, em vez de simplesmente reagir a questões técnicas quando elas surgem. Dar-lhe acesso aos dados sobre os padrões de uso de seus clientes permite que ela faça novas perguntas com base nos pontos de dor que ela ouviu diretamente dos clientes - por exemplo, como podemos otimizar o tempo de atividade com base no uso do meu cliente? Seu primeiro passo é escrever algumas consultas para analisar o uso.

O uso pode ser dividido em perguntas como estas:
  • O uso pode ser intermediário
  • O cliente usa o serviço mais agressivamente à noite?
  • Existem certas áreas do mundo que geram mais uso do que outros?
  • São determinados os recursos do serviço que obtêm mais tráfego do que outros?

Os resultados de todas essas análises terão variância estatística. Se a variância for alta o suficiente, decifrar a conclusão correta pode ser difícil. Este gerente de conta técnica poderia enviar suas conclusões e consultas a seus colegas com a nota: "Eu corri essas consultas e tirei essas conclusões. Alguém pode executá-los e verificar minhas conclusões? "

O fato de que este gerente de conta técnica pode executar essas análises pode não ser notável, mas o fato de que ela simplesmente pode compartilhar suas consultas com um grupo de colegas comprometidos que também tem acesso instantâneo aos dados significa que, juntos, eles formam uma comunidade de cientistas de dados. Com efeito, você ativou uma cultura ad hoc de revisão por pares em sua empresa e essa cultura fornecerá melhores análises, conclusões mais precisas e maior valor para a empresa.

"Muitas organizações se concentram na necessidade de cientistas de dados, assumindo que sua presença sozinha permitirá uma transformação analítica. Mas outro papel igualmente vital é o do tradutor de negócios que serve como o vínculo entre talentos analíticos e aplicações práticas para questões comerciais."
 Instituto Global Mckinsey

Construindo uma Cultura de Ciência de Dados: Passo a Passo

Uma cultura de ciência de dados leva o conceito de cientistas de dados de cidadania um passo adiante, estendendo seu impacto em toda a organização.


Passo 1: crie uma base.
Construir a base certa para a sua estratégia de dados é o primeiro passo para uma cultura da ciência dos dados - e sem as ferramentas certas, não é uma tarefa fácil. Para permitir essa cultura, as empresas devem primeiro poder armazenar e processar de forma segura enormes volumes de dados comerciais críticos. Em seguida, eles devem capacitar suas pessoas para acessar esses dados a qualquer momento, de qualquer lugar. Finalmente, eles devem ser capazes de disseminar análises vetadas e conclusões em escala criando painéis automáticos. Essas capacidades, fundamentais para qualquer estratégia de dados, podem levar anos para construir um ambiente tradicional de data warehouse. No entanto, as ferramentas modernas (como o BigQuery) criam as bases para uma cultura cidadã de ciência de dados imediatamente.


Passo 2: Fornecer acesso.
Uma vez que uma fundação está no lugar, é hora de conceder acesso aos seus cientistas de dados de cidadãos para que eles possam começar a sujar as mãos. Ele também estabelece as bases para a colaboração, apresentando seus funcionários com um desafio compartilhado. Aqui, é crucial ter tecnologia que habilite em vez de sobrecarregar.


Passo 3: Foster experimentação e colaboração.
Nem todas as empresas têm a mentalidade de "fail fast" de um arranque do Silicon Valley. Em algumas organizações, a noção de experimentação sem um resultado definido pode gerar medo e resistência. A fim de incentivar seus funcionários a experimentar dados, remover expectativas de sucesso ou fracasso e enfatizar a importância de simplesmente ser curioso e fazer as perguntas certas. Ferramentas de comunicação, como documentos compartilhados e aplicativos de bate-papo, podem ajudar a promover a colaboração e facilitar o compartilhamento de análises e resultados. Os líderes empresariais também devem mostrar como a análise de dados informa seu próprio processo de tomada de decisão para que os funcionários possam ver o impacto de seu trabalho.

Você não pode esperar para criar verdade
Cientistas de dados cidadãos puramente por
deixando-os experimentar.

Passo 4: Desenvolva experiência.

Você não pode esperar criar cientistas de dados de cidadão verdadeiros, simplesmente deixando-os experimentar. Você também precisará recrutar seus cientistas profissionais de dados (ou trazer conhecimentos externos) para dar um curso básico de impacto na análise estatística.
No entanto, tenha em mente que seus cientistas de dados de cidadão não precisam se tornar cientistas de dados profissionais - você precisa deles por sua experiência em outras áreas do negócio. Se você estiver usando a tecnologia certa, grande parte da organização e análise de dados de nível mais baixo pode ser automatizada, permitindo que usuários de TI e negócios obtenham respostas para consultas simples com um esforço mínimo.


Passo 5: Comemore o sucesso.
Pode parecer inconsequente, mas o reconhecimento pode percorrer um longo caminho para estabelecer uma cultura de ciência de dados. Também pode ajudar a incentivar os comportamentos certos, sublinhando a importância da metodologia científica e conclusões impactantes. 
À medida que o volume e o impacto potencial dos dados comerciais continuam a expandir, a capacidade de realizar análises sofisticadas rapidamente se tornará um diferenciador chave do mercado. E à medida que a concorrência pelo talento da ciência da informação continua a se intensificar, as empresas que podem treinar e capacitar uma comunidade de cientistas de dados cidadãos prevalecerão. Construir uma cultura de ciência de dados não é apenas sobre a conservação de custos ou para se manter competitivo. As empresas que recrutam seus cientistas de dados internos para treinar e capacitar outros funcionários irão colher os benefícios de uma maior comunicação, colaboração e retenção de funcionários - garantindo seu sucesso contínuo em um primeiro mundo de dados.