fuentes primarias – Blog Datlas

Los sistemas de datos y analítica avanzada son cada vez más complejos. Nuevas herramientas, formatos, técnicas y métodos son implementados para descifrar hallazgos de una manera más automatizada acercándonos cada vez más a la verdadera analítica prescriptiva. Además, MIT estima que una mala calidad de datos puede representar entre el 15%-25% de costos sobre los ingresos de una compañía. (Fuente: https://sloanreview.mit.edu/article/seizing-opportunity-in-data-quality/) Pero, volviendo a los fundamentales, o como dicen en inglés «Back to basics» ¿Cómo podríamos monitorear que estos procesos funcionen con calidad? ¿Cómo asegurarme que todos los proyectos de analítica en mi organización tengan un mínimo nivel de calidad?

Fuente: Ecosistema de datos. Liga: https://towardsdatascience.com/an-experience-of-a-data-ecosystem-4f86e98fd013

En esta columna revisaremos los principios de calidad de los datos y compartiremos algunas prácticas básicas que en el equipo Datlas hemos aprendido durante la trayectoria de varios proyectos. Esta columna te interesará si lideras o buscas liderar iniciativas de analítica en tu organización.

I) ¿Qué son los estándares de calidad?

Según el libro de «Managing Data Quality» la calidad de los datos se puede definir como: El efecto fundamental de la calidad de los datos es que los datos correctos estén disponibles en el momento correcto para los usuarios correctos, para tomar la decisión correcta y lograr el resultado correcto. Esto se puede ampliar considerando que los datos de buena calidad son seguros, legales y se procesan de manera justa, correcta y segura .

Cuando nos referimos a calidad de datos tenemos en cuenta el método, la organización y la habilitación de sistemas que nos permitan generar una base sostenible de calidad de datos durante el tiempo

II) ¿Cuáles son los términos más importantes en calidad de datos?

Proveedores de datos: Los creadores de fuentes de datos
Recipientes de datos: Recipientes dinámicos y estáticos de fuentes de información
Fuentes primarias: Referencias de primera mano de información, también conocidos como los datos que provienen de la fuente original
Fuentes secundarias: Referencias de segunda mano, que un intermediario integro, alteró, agrego o modificó para fines de desarrollo de métricas

** También te puede interesar: «Arquitectura de proyectos de datos» . Liga: https://blogdatlas.wordpress.com/2021/02/08/arquitectura-de-proyectos-de-datos-data-warehouses-vs-data-lake-vs-data-mart-datlas-manuales/

III) ¿Cuáles son las dimensiones de calidad de los datos?

Que los datos no estén incompletos, es decir que el nivel de cobertura sea cercano al 100%. Ejemplo si estamos hablando de una base de datos transaccional de una gran cadena comercial ¿ A la fecha del corte, cuánta información tenemos disponible?
Qué existe integridad entre la relación de los datos
Los datos disponibles son lo más actualizados posibles. Y son vigentes para los escenarios de análisis que requiere la organización
Cumplimiento de la estructura de datos, de acuerdo a los parámetros establecidos. Ejemplo que todos los campos temporales sean consistentes en todo el sistema. Si se registran a nivel minuto-segundo, que así sea. Si la semana comienza en domingo, que sea así para todos los sistemas
Disponibilidad de los datos cuando se requieren. Es decir, que la fuente permita tener información de manera oportuna
Que las herramientas disponibles para registrar datos sean las correctas. Buenos métodos y registros en las unidades que el sistema lo requiere. Recomendable que existan registros de identificadores únicos
Finalmente, pero no menos importante, que los datos sean consistentes entre sistemas . Es decir, que entre áreas y equipos tengan los mismos estándares de consultas para que , por ejemplo, todos tengan la misma venta

IV) 10 Consejos prácticos para mantener calidad de los datos

En materia práctica ¿Qué podemos utilizar? En nuestra investigación queremos citar y complementar los consejos de Talend.

1) Hay que volver a la calidad de los datos una prioridad

2) Establece buenas métricas de calidad de datos con base a las dimensiones establecidas

3) Profundiza en investigar las fallas en la calidad de los datos

4) Invierte en entrenamiento interno

5) Establece, implementa y monitorea buenas guías de gobernanza de datos

6) Genera procesos de auditoría buscando: Bases de datos incompletos, faltantes, datos erróneos, inconsistencias, datos viejos, entre otros

7) Asigna un administrador de calidad de datos en cada departamento

8) Declara y gestiona una fuente única de referencia de datos

9) Automatiza los flujos de datos de buena calidad

10) Impulsa el uso de la nube y la cultura de trabajo colaborativo con «plantillas y glosarios» de datos

V) Sobre el ISO relacionado a la calidad de los datos

Finalmente y, en cumplimiento a los estándares con la que muchas compañías trabajan, se puede poner en práctica lo que dice el compendio «Data quality — Part 61: Data quality management: Process reference model».

** También te puede interesar: Metodologías para preparar tus bases de datos. Liga: https://blogdatlas.wordpress.com/2020/07/09/4-pasos-para-preparar-tus-bases-de-datos-para-analisis/

Hasta aqui la columna de hoy . Y tu ¿Qué prácticas de calidad de datos tienes en tu día a día o con tu equipo? ¿Quién monitorea la calidad de información y que los hallazgos en sus análisis vengan de buenas fuentes?

Comparte tu conocimiento con la comunidad en redes con @datlasmx