La ingeniería de datos en proyectos Big Data y Data Science

¿Que es la ingeniería de datos?

Explicación para Dummies.

NO es Big Data, NO es Data Science, NO es Business Intelligence, NO es Spark, NO es Python, NO es Hadoop etc…

La ingeniería de datos es el ARTE y conjunto de técnicas para procesar, estructurar y normalizar los datos utilizando la tecnología. La ingeniería de datos es programación y los mejores ingenieros de datos suelen ser programadores.

Un ingeniero de datos debe tener conocimientos de Business Intelligence, debe tener conocimientos en Bases de Datos, debe saber diseñar esquemas Entidad relación, debe saber que es la tercera forma normal, debe saber que es la normalización de tablas y la desnormalización etc…

El ingeniero de datos debe ser capaz de trabajar con cualquier formato de datos, debe ser capaz de acceder a los datos de diferentes fuentes, procesarlos, estructurar y normalizar la información e insertarla en la base de datos, generar ficheros CSV etc…

La ingeniería de datos es la base de cualquier proyecto Big Data, Business Intelligence, Data Science o integración de datos.

El ingeniero de datos hoy trabaja con Amazon S3, mañana con Azure Data lake y pasado mañana con carpetas compartidas, le es igual la tecnología porque lo importante es tener bien claro los conceptos y que se necesita hacer.

La diferencia de un ingeniero de datos y un data scientist es que el ingeniero de datos trabaja con la información desestructurada para normalizarla y ofrecérsela a negocio y el Data Scientist utiliza la información que el ingeniero de datos le ofrece para sacar patrones, predecir, conclusiones, insights etc…