Archivo de la etiqueta: data lake

5 Tendencias DE datos para gerentes de analytics – datlas investigación

La transformación digital en el 2021 continua siendo impulsada por distintos pilares como cultura, tecnología, sistemas de trabajo y análitica de datos. En esta última es importante seguir actualizándonos y el día de hoy dirigimos esta columna a la gerencia de analytics en las organizaciones. Hablaremos de 5 tendencias para analítica y datos en el 2021. Esta columna está inspirada en nuestra meta-investigación y la columna citada en fuentes de @Prukalpa

Te puede interesar también las tendencias del 2021 que investigamos al principio del año. Revísalas aqui.

5 Tendencias de Datos

1) Se mezclan los Data Warehouse y Data Lakes

Recuerda que hablamos sobre arquitectura de proyectos de datos en este blog y te contábamos las diferencias entre data Warehouse vs Data Lakes.

Las líneas que dividen estos conceptos se borran en algunos sistemas y algunas plataformas de analítica se están conectando de manera directa al lago de datos con tecnologías como SnowFlake.

2) Las herramientas de BI tools se hacen “mainstreams”

PowerBI, Qliks y/o Tableau son el nuevo estándar. De hecho plataformas como Tableau acaban de actualizar sus tarifas a puntos de precios bastante asequibles para PYMES ($35 dólares mensuales).

Sin embargo, recuerda tomar en cuenta la arquitectura de datos recomendada en este tipo de proyectos.

3) Los cursos y centros de excelencia de datos se vuelven el nuevo normal

Las capacitaciones de analistas en ciencia de datos se incrementan a alta velocidad. La intención es que más equipos dentro de las organizaciones se sumen a la transformación digital apalancados en plataformas de analítica.

Muchas organizaciones establecieron presupuestos en la contratación de capacitadores, cursos en línea, alianzas con universidades y programas hechos a la medida para aprender las introducciones a la analítica.

Si te interesa conocer un ejemplo de currícula no olvides revisar “Aprendiendo de Ciencia de Datos para Líderes de Equipo”

4) Emergen nuevos roles de datos

Te suena ¿Data Engineer o Data Arquitect? Sin duda alguna son de los principales roles que hemos planteado en estrategias de datos pero muchos analistas “odian” tener dependencias en sus ejercicios de ciencia de datas a la capacidad de obtener información de los ya muy demandados y ocupados “ingenieros o arquitectos de datos”.

En ese sentido se ha buscado empoderar mayormente a los analistas usando plataformas low-code. También abriendoles accesos a los “data-marts” para poder generar reportes con información básica y recurente.

Lo peor que puede suceder en una estrategia de datos es tener más “cadeneros o cuellos de botella” que solucionadores en los procesos planteados.

5) Las alertas inteligentes en negocios se vuelven “pulsos comerciales”

Hemos notado incrementos en solicitudes y RFQ de compañías que quieren estar más enterados de su contexto. Iniciativas como procesamientos de NLP de redes sociales, seguimiento a notas de ubicaciones estratégicas, “feeds” o síntesis de información de industria, entre otras son alguna evidencia del crecimiento de la “inteligencia” que se construye en los negocios.

Sin embargo, tanta información no es de mucha utilidad si esta no genera “alertas o notificaciones” oportunas para reaccionar. Imagínate que en determinado momento te cambian la tarifa del gas y tienes que esperar a la reunión trimestral de consejo para aceptar los cambios. Pero por otro lado, si usando datos y alertas en tiempo real monitoreamos los incrementos en precios de gas en distintos mercados podemos prepararnos con coberturas para el inminente crecimiento en tarifas.

Hasta aqui la columna de hoy ¿Qué opinas de las tendencias? ¿Cuál crees que es importante monitorear? y ¿Qué medios sigues para alertarte de los cambios en la industria? Sigamos la conversación en redes a través de @DatlasMX

Equipo Datlas

– Keep it weird –

Fuentes

Imagenes de unsplash y pinterest (https://ar.pinterest.com/pin/579345939554969637/)

https://towardsdatascience.com/the-top-5-data-trends-for-cdos-to-watch-out-for-in-2021-e230817bcb16

arquitectura de proyectos de datos (Data warehouses, vs Data lake vs Data mart) – Datlas manuales

Cuando vemos una casa bonita, con buena arquitectura , jardinería bien cuidada e iluminación en su punto lo que menos nos preocupa es cómo está la casa en su plomería y en los cables que hacen que esa iluminación y jardín se vean de primera. Al final tenemos contacto con los interiores y la fachada de la casa ¿Por qué debería de importarme? Bueno si en lugar de una casa habláramos de una plataforma increíble de mapas o dashboard… seguramente tendríamos que entender cómo funciona para poder construir uno para nosotros igual de funcional.

En esta columna hablaremos de la arquitectura para proyectos de datos y cómo funciona la plomería que hace viajar los datos desde su fuente hasta los puntos de consumo por los usuarios.

¿El contexto para el “aprovechamiento de los datos” ?

Desde hace un par de años decidimos comenzar nuestros diálogos sobre data science en foros nacionales con un gráfico así. Nuestra urgencia era comunicar por qué les debería de importar aprovechar todos esos datos que las organizaciones generan.

Ahora, no es tan necesario hablar de esto, la transformación digital a vuelto a los datos los protagonistas del cambio. No hay organización respetable que quiera “dejar valor en la mesa” y no esté ocupando un porcentaje de su tiempo en capitalizar el valor de los datos.

Mencionamos esto como contexto de la columna, el aprovechamiento de los datos muchas veces es dialogado de la parte cultural… pero ¿Cómo perderle el miedo a tratar de entenderlo desde la perspectiva técnica? Esperemos esta columna te apoyo a eso

¿Cómo funciona la plomería detrás de un proyecto de aprovechamiento de datos?

Un proyecto de aprovechamiento de datos para medianas y grandes cantidades de datos se puede ilustrar de la siguiente manera.

  • Existen datos de negocio de distintas fuentes. Puede ser puntos de venta transaccionales, ventas, información adquirida vía terceros (por ejemplo de clima de IBM o negocios de Google Places), de redes sociales, entre otras
  • Estos datos tendrán entrada a nuestros sistemas de información mediante una copia que se dirige a un repositorio de datos denominado “Data Lake” o “Lagos de datos”. En este punto la información es de todo tipo y con estructuras diferenciadas
  • A partir de ahi es importante limpiar, estructurar e integrar las bases de datos de una manera en que puedan ser “consumibles” para nuestros proyectos de datos. Por ejemplo, si tenemos datos de clima y de negocio, podríamos generar una base de datos a nivel código postal o suburbio y cruzar estos 2 datos enlazados a una misma zona de la ciudad. Este proceso puede suceder via un ETL (Extract – Transform – Load ; Extraer – Transformar – Cargar) que son pasos programados para que los datos puedan ser casi listos para ser usados
  • Los datos procesados por el ETL serán ahora información. Esta información podrá ser almacenada en un repositorio llamado “Data Warehouse”. A diferencia del “Lago de datos”, en este “Warehouse” la información compartirá estructura y habrá una mayor homologación entre los sistemas numéricos en los que se registran las variables
  • Estos registros pueden pasar por pasos de “agregación” en donde se hacen sumatorias. Por ejemplo, en el “Warehouse” podríamos tener los registros de toda una semana de una tienda. Pero en la agregación, tendríamos la sumatoria de transacciones por día para poder realizar graficas de resultados diarios
  • Esa agregación la podemos llevar directo a plataformas como dashboards o si queremos manejar cierta discrecionalidad en la información podemos manejar “Data Marts”. Por ejemplo, si queremos que el área de Logística sólo vea información operativa y no financiera podremos generar un Data Mart para aislar los datos y habilitar la construcción de tableros sólo con los datos que les corresponde visualizar

Te podrá interesar nuestras otras columnas: Qué es un ingeniero de datos en el diseño de perfiles de equipos de datos o cómo construir iniciativas de datos

¿Cómo varía por tecnología?

Estas rutas pueden variar por cada tecnología. Pero es válido decir que la mayoría de estas etapas se podrían cumplir en cada tecnología.

A continuación te compartirnos una imagen muy interesante que encontramos sobre los “pipelines” y contrastes entre:

  • AWS (amazon web services). De Lambda y S3 hasta Quicksight
  • Microsoft. De AZURE a PowerBI
  • Google. De big query a Data studio
Elaborado por @scgupta

Cuéntanos en @DatlasMX ¿Qué arquitectura preferirías o prefieres para tus proyectos de aprovechamiento de datos?

Hasta aqui la columna de hoy, gracias por leerla y te recomendamos suscribirte a nuestro podcast para seguir aprendiendo de datos y analítica. Conoce más en https://linktr.ee/datlas

Equipo Datlas

– Keep it weird-

Otras fuentes