Cientista de dados e analista de dados são, sem dúvida, as profissões mais emblemáticas no campo de especialização dos “dados”. No entanto, nem sempre é fácil entender as diferenças entre esses dois profissionais – e falar apenas sobre essas duas profissões é altamente simplista. Para entender melhor a tipologia das profissões de dados, fomos conhecer o DataLab RegionsJob. Durante vários meses, uma equipe foi estruturada dentro da empresa para explorar e aproveitar ao máximo os dados. Aqui está o papel de cada membro da equipe de dados e as habilidades necessárias para realizar seus trabalhos.
A RegionsJob está atualmente recrutando um Engenheiro de Dados M/F com contrato permanente em Rennes para fortalecer seu DataLab. A descrição do trabalho está disponível no Hellowork .
Analista de informações
A missão do analista de dados é agregar dados de múltiplas fontes, analisá-los e extrair informações que permitam à empresa gerenciar melhor suas atividades e antecipar suas necessidades futuras.
Parte essencial de seu trabalho é devolver as conclusões de suas análises aos demais departamentos da empresa, em diferentes formas (relatórios, dashboards, apresentações). O analista de dados deve, portanto, ter uma compreensão detalhada das atividades de sua empresa e ser um excelente comunicador. Com fortes habilidades em estatística, confortável com visualização de dados, o analista de dados também deve dominar ferramentas de Business Intelligence e consulta de banco de dados.
Cientista de dados
O cientista de dados tem a mesma missão do analista de dados, explorar e aprimorar os dados, mas possui habilidades diferentes. De certa forma, o cientista de dados substitui o analista de dados quando a análise de dados se torna mais complexa e requer o domínio de técnicas e ferramentas mais avançadas. Este pode ser o caso quando o volume de dados se torna muito grande (big data), quando os dados devem ser processados muito rapidamente (para aplicações em tempo real, por exemplo), quando a própria natureza dos dados requer um processamento específico (linguagem de processamento ou imagens), ou quando o problema a ser resolvido requer uma modelagem extensiva que é mais P&D do que a restituição de estatísticas.
Um cientista de dados geralmente precisa ter habilidades duplas em aprendizado de máquina e desenvolvimento de software, uma compreensão real dos problemas de negócios e boas habilidades de comunicação. O equilíbrio ideal entre essas diferentes habilidades depende da natureza das tarefas exigidas do cientista de dados.
No RegionsJob DataLab, por exemplo, os cientistas de dados concentram seus esforços em algumas questões importantes:
- O objetivo dos algoritmos de recomendação é oferecer aos usuários dos serviços da RegionsJob (recrutadores, pessoas que procuram emprego ou treinamento) conteúdos personalizados, adaptados às aspirações de cada pessoa. Esses algoritmos têm pontos em comum com aqueles implantados em sites de comércio eletrônico (como Amazon) ou sites de streaming (como Spotify), mas foram desenvolvidos especificamente para emprego e treinamento. É, por exemplo, graças a esses algoritmos que um usuário pode ser informado de que uma oferta de emprego suscetível de interessá-lo acaba de aparecer.
- Os algoritmos de processamento de linguagem permitem extrair informações relevantes de diferentes tipos de documentos (ofertas de emprego, descrições de treinamento, currículos), enriquecer a ontologia RegionsJob (um grande gráfico que conecta empregos, treinamento, habilidades etc.) palavras-chave.
- Os algoritmos de clustering visam segmentar o público dos sites RegionsJob, mas também seus catálogos de ofertas e treinamentos.
Arquiteto de ciência de dados
Dentro do DataLAb, o arquiteto identifica as diferentes fontes de dados, internas e externas, que podem alimentar o data lake . Para isso, ele conta com uma visão interdisciplinar do sistema de informação da empresa e monitora as fontes de informação do tipo dados abertos.
O cargo também inclui uma parte importante da vigilância tecnológica, pois deve identificar e recomendar as tecnologias que serão mais relevantes para gerenciar o volume e o fluxo de dados. Em seguida, ele constrói com o engenheiro de dados a arquitetura dos sistemas de agregação e organização, garantindo os aspectos de escalabilidade e resiliência dos elementos implementados, bem como a natureza escalável da solução.
Assim, uma das primeiras missões do DataLab RegionsJob foi projetar e, em seguida, implantar uma infraestrutura de rastreamento de eventos e geração de perfis na nuvem, o que possibilitou entregar recomendações de ofertas de trabalho em tempo real aos visitantes dos locais de trabalho.
No modo ágil iterativo, a equipe está em perpétuo processo de melhoria: enriquece suas fontes de dados, trabalha na melhoria de algoritmos e implementa APIs para oferecer às diversas equipes de produtos serviços com base no conhecimento de nossos dados.
Engenheiro de dados
O engenheiro de dados DataLab RegionsJob cuida do lado do aplicativo, permitindo o trabalho dos cientistas de dados. Desenvolve e mantém sistemas de coleta, armazenamento e disponibilização de dados.
Ele deve garantir que a infraestrutura permaneça fluida e operacional. A equipe trabalha com grandes volumes de dados: as aplicações devem ser robustas. Uma interrupção causa a perda de muitos dados. Para isso ele desenvolve, automatiza implantações, instala sondas para monitorar todo o sistema. Ele é um desenvolvedor com interesse em DevOps.
Para fortalecer seu DataLab, a RegionsJob está recrutando um Data Engineer M/F com contrato permanente em Rennes
O engenheiro de dados oferece suporte às equipes de produto que desejam explorar dados, ajudando-as a implantar soluções para enviar e recuperar dados processados por cientistas de dados. Por fim, com o arquiteto, ele fica de prontidão para manter e desenvolver a arquitetura de Big Data para processar volumes de dados cada vez maiores. O dia típico para um engenheiro de dados é 50% de desenvolvimento, 20% de estudo e especificação, 20% de suporte e resolução de bugs e 10% de monitoramento.
Graças aos métodos ágeis, os membros do DataLab RegionsJob discutem todas as manhãs para dominar completamente o negócio de cada pessoa. Cada um traz suas próprias ideias e a reflexão sobre processamento de dados é global! Os painéis de integridade do sistema são visíveis para todos, a equipe ouve as necessidades e ideias de cada equipe, o que permite melhorar o sistema a cada dia.
Obrigado aos membros da equipe do DataLab: Elizaveta Clouet, Stéphane Bonneau, Jean-Luc Tromparent e Antoine Grolier.