O que é a Engenharia de Dados

Olá, Pessoal.

Hoje, iremos abordar um tema, que, embora, não seja novidade no mercado, está bastante em ALTA.

Falaremos sobre o que é a Engenharia de Dados e os principais papéis de um Engenheiro de Dados.

Ainda existe muita confusão sobre quando falamos acerca de Ciência de Dados x Engenharia de Dados.

Ainda que, ambos profissionais (Cientista e Engenheiro) trabalhem estritamente ligados dentro do ciclo de vida de um dado até a sua disponibilização por meio de informações, existe diferenciação bem claras entre seus objetivos e respectivos papéis.

Então, vamos lá!

A Engenharia de Dados é um conjunto de técnicas, procedimentos, processos, etapas, que permitem pegar os dados no formato bruto e entrega-los em formatos utilizáveis.

Tais dados utilizáveis vão alimentar o trabalho dos Analistas e Cientista de Dados, bem como o do Engenheiro de Inteligência Artificial, e até mesmo de outros profissionais, que irão utilizar os dados para algum tipo de análise.

• Já vão sentido as diferenciações….

Sendo assim, é na Engenharia de Dados, que é possível tornar os dados mais úteis e acessíveis para os consumidores de dados.

Nesta área, é utilizado o processo para coleta e validação dos dados de qualidade, que possam ser usados por Analistas e Cientistas de Dados.

Ou seja, os Cientistas de Dados são os principais clientes do Engenheiro de Dados.

E, quando falamos em validação dos dados realizada pelos Engenheiros de Dados, pode-se afirmar que os dados, sempre, serão perfeitos?

A resposta é: Não.

Isso quer dizer que o trabalho do Engenheiro de Dados pode ou não envolver a gestão da qualidade.

A obrigação desse profissional é entregar os dados aos Cientista de Dados em formatos utilizáveis. Isso não quer dizer que eles estarão em seu estado de perfeita qualidade.

Então, o que é realizado pela Engenharia de Dados, na sua essência (o mínimo), é garantir que os dados estejam prontos, e, principalmente, íntegros.

Por isso, a importância da modelagem de dados.

Falando mais numa linguagem técnica, os Engenheiros de Dados supervisionam a ingestão, transformação, modelagem, entrega e movimentação de dados em todas as partes de uma organização.

A extração de dados acontece de muitas fontes de dados diferentes. Então, esses profissionais carregam os dados em Data Warehouse e Data Lakes, que são transformados para as iniciativas dos Cientistas de Dados

Fala-se muito que os dados são ativos corporativos de muito valor. Lê-se muito a comparação de dados em o “Petróleo” da empresa.

Então, se uma organização não possui uma estratégia fundamentada em Engenharia de Dados, dificilmente conseguirá implementar uma cultura Data-Driven (Orientado a Dados).

Obs.: este tema é bastante interessante, e, prometo, que trarei Artigos sobre o tema.

Este aculturamento permite que uma organização deixe de trabalhar com base no “achismo” e passe a usar dados, fatos e análises visando à tomada de decisões.

É isso, Pessoal.

Bons estudos!

Profª. Samantha Gomes