Archivo de la etiqueta: big data

¿PODRÍAS SER más propenso a chocar que otra persona SÓLO POR TU MODELO DE AUTO? La respuesta puede ser “sí” – DATLAS INVESTIGACIONES

El análisis de datos ha ido adquiriendo mucha importancia últimamente, sabemos que es una ciencia que se encarga de analizar un respectivo conjunto o conjuntos de datos para obtener conclusiones de los mismos y así tomar decisiones o simplemente obtener nuevos conocimientos. En esta columna presentamos un ejercicio complementario de análisis de datos. Esto sobre una base de datos de choques y siniestros para Nuevo León. Te presentamos nuestros hallazgos.

** También te podría interesar nuestras otras columnas sobre choques y siniestros

Big Data y Data Science: los profesionales especializados en ciencias de  datos tienen el futuro asegurado

En esta ocasión se usará una base de datos que recopila los choques de la zona metropolitana de Monterrey, Nuevo León desde el año 2016 hasta la mitad del 2018. Gracias al análisis podremos observar los diferentes fenómenos que se presentan.

La base de datos contiene los registros ya mencionados, cada registro contiene diferentes columnas, podemos dividir estas columnas en tres secciones que definen cada aspecto del choque:

1) La primera sería el lugar del suceso,

2) La segunda sería la descripción del mismo y

3) La tercera es la fecha/hora cuando ocurrió.

Ahora bien, con estos datos vamos a contestar algunas preguntas.

¿En qué códigos postales de la ciudad de Monterrey, Nuevo León y Zona metropolitana (ZMM) se generan más choques?

Para fines prácticos, se tomaron de la tabla los diez códigos postales donde hubo más choques, esto considerando su respectiva frecuencia de ocurrencias con respecto al total. Los resultados se mostrarán a continuación.

Top 10 códigos postales con más choques:

  1. 64000
  2. 64620
  3. 64590
  4. 64330
  5. 64619
  6. 64200
  7. 64988
  8. 64460
  9. 64710
  10. 64700

Para un mejor entendimiento se relacionó cada código postal con el nombre de la colonia. Estas son las colonias donde hay más percances del área metropolitana.

Top 10 colonias con más choques:

  1. Col. Centro
  2. Col. Vista Hermosa
  3. Col. Agrícola
  4. Col. Gral. Naranjo
  5. Col. Residencial Cumbres
  6. Col. Croc
  7. Col. El Milagro
  8. Col. Mitras Centro
  9. Col. Nuevas Colonias
  10. Col. Nuevo Repueblo
Mapa Monterrey, N.L. Colonias con más choques.

Si andas por estas colonias te recomiendo que vayas con mucha precaución detrás del volante.

¿A qué hora ocurren más choques en Monterrey (ZMM) ?

Pienso que esta es una de las preguntas más importantes a considerar ya que si vives en Monterrey sabrás de la cantidad de tráfico que se genera a las horas pico, veremos si existe una relación entre los choques y las horas de más tráfico.

Formato 24hrs.

Las horas que destacan son: 14:00, 13:00, 16:00, 18:00, 15:00. Podemos notar que los choques están relacionados con el tráfico, y el tráfico a su vez se genera principalmente debido a las “horas de trabajo”, claramente podemos observar la “hora de entrada”, la de “hora de comida” y la “hora de salida” que son los tiempos en donde hay más personas manejando.

¿Qué días de la semana suceden más choques en Monterrey(ZMM) ?

Formato 24hrs. Empezando por día domingo y terminando el sábado.

Empezando por el domingo en este caso, se puede notar cómo es que los choques varían dependiendo del día, siendo el “viernes” cuando ocurren más siniestros y el “domingo” el día que menos. Otro fenómeno curioso que podemos observar es que durante los sábados en la noche la cifra de choques aumenta considerablemente en comparación a los demás días, es entendible, la gente se va de fiesta, toma alcohol u otras sustancias, acto siguiente escoge manejar y lamentablemente choca. 

¿Algún color de auto es más propenso a chocar?

La respuesta corta es “sí”, existen autos que son más propensos a chocar que otros por su color, esto quizá se deba a que durante el día o la noche son más difíciles de observar para los conductores, otro factor puede ser que la mayoría de los autos que circulan son de ciertos colores “populares” y por ende tienen esas estadísticas.

Puede parecer broma, pero tomando en cuenta todo esto, en dado caso de que te encuentres manejando un carro gris o blanco un viernes por la tarde en el centro de Monterrey, estadísticamente tienes una gran probabilidad de chocar.

– Equipo Datlas –

¿Qué se puede decir de todo esto?

“Nuevo León, la entidad con mayor registro de choques en el país” – El financiero

“Falta cultura vial…y abundan choques” –El Norte

Estos solo son dos ejemplos de los miles que se pueden encontrar en cuanto a notas periodísticas donde mencionan nada más que la verdad. Nuevo León es en efecto la entidad del país con el mayor número de choques, esto se puede comprobar observando las bases de datos del INEGI o simplemente visualizando las gráficas que ya tienen disponibles en su página. No hace falta ser muy meticuloso con los datos para darnos cuenta de esto, solo basta con salir a manejar en horas pico para que uno se dé cuenta de lo pésima que es esta situación, no es de sorprenderse que seamos la zona metropolitana con mayor número de choques.

Finalmente, si multiplicamos las probabilidades de cada dato podemos llegar a una conclusión un poco chistosa pero cierta, si tú decides salir a manejar un automóvil de color blanco, un viernes por la tarde en el centro de la ciudad de Monterrey, estadísticamente tienes mayor probabilidad de chocar que cualquier otro conductor.

Ándate con cuidado si tienes un auto blanco y te gusta salir los viernes.

Lectores recuerden suscribirse en www.datlasacademy.com para obtener cursos gratuitos sobre métodos y conceptos de transformación digital. Para las y los primeros suscriptores habrá un curso de “Storytelling de Datos” de obsequio. No se lo pierdan.

Equipo Datlas –

No te sientes al frente si vas en un carro blanco por gonzalitos (Caso de ANÁLISIS DE CHOQUES PARA NUEVO LEÓN, MÉXICO) – DATLAS INVESTIGACIONES

Aún con varios blogs escritos al respecto, los datos de los siniestros reportados de inicios del 2016 a mediados del 2018 en Mty NL, aún tienen mucho que decirnos. Y aunque pareciera un título alarmante, la realidad es que no lo es, ¿o sí? Como diría cualquier científico social: Depende. Quédate en este blog para descubrir la respuesta.

** Te puede interesar “Categorizando zonas con más choques en Nuevo León”

Si cualquier persona con suficiente equipo de cómputo para utilizar Microsoft Excel filtrara y contara las observaciones de la antes mencionada base de datos, se daría cuenta de los siguientes resultados:

  1. El color de los vehículos más chocado en ese periodo es el color blanco.

Seguido del gris, rojo, plata, y negro. Al quitar duplicados, sumar colores prácticamtente iguales, y ordenando de mayor a menor por cantidad de observaciones, obtenemos el TOP 10 se se ve en la imagen.

2. La parte del auto donde sucedió el choque más frecuente fue el frente

Seguido de la parte trasera, el cofre, el costado derecho delantero, y el costado izquierdo delantero. El procedimiento fue prácticamente el mismo que en el caso del color del vehículo, y gracias a ello tenemos el TOP 10 en esta segunda imagen.

3. Los choques de auto se concentran en su mayoría en la avenida Gonzalitos.

Por último, si proyectaramos un mapa 3D de las latitudes y longitudes, las cordenadas de los diferentes siniestros filtrados por tipo de vehículo, podríamos llegar a la conclusión de que en el mapa de autos, estos se concentran más en la avenida de Gonzalitos, mientras que en el camión se concentran por Ruiz Cortinez, y en los camiones ligeros por Madero.

Ahora bien, ¿debería de alarmarme por el título de este blog? Nuestra respuesta sería: no lo suficiente, y la manera más fácil de explicarlo es con el color del vehículo.

El hecho de que el color con más choques reportados sea el blanco, no quiere decir que dicho color sea el más propenso a chocar, porque no sabemos si es el color más comprado. Si por ejemplo casi toda la ciudad compró autos blancos y solo chocó 1 tercio, mientras que los autos rojos solo compraron 10 personas y todos chocaron porque es el color más propenso a chocar, el número de reportes entonces no nos ayuda mucho.

Algo similar sucede con la avenida Gonzalitos. Si solo nos basamos en los datos de los siniestros reportados, no podríamos comparar esta avenida con otras, al no estar seguros de cuantos automóviles la transitan, y por ende, no podemos asumir que es la avenida más peligrosa o propensa a sufrir un accidente. No es coincidencia que la hora con más choques es la 1:47pm, la cual cabe en lo que conocemos coloquialmente como la hora pico.

Como de costumbre, la intención de este blog no es asustar al usuario, si no compartir resultados interesantes de un análisis básico de datos, y generar conciencia de como un evento tan normal como un choque en esta ciudad, puede arrojarnos información interesante a compartir.

Hasta aquí la columna de hoy, no duden en visitar los otros escritos de esta base de datos o de la basta variedad de temas de analítica que hemos realizado. Pueden encontrarnos en nuestras redes sociales como @DATLASMX.

Adjuntamos el video echo por un aplicante para una de nuestras últimas convocatorias de ingreso a la startup, donde tenía que explicar esta y otras conclusiones interesantes de la base de datos en 6 minutos como máximo.

Equipo Datlas

-Keep it weird-

1 mes usando la mac mini apple (2020) para data science y edición de multimedia – datlas

Comenzó el nuevo año y la demanda de procesamiento para una startup de analítica como Datlas incrementó. Es usual que en las conversaciones del área de tecnologías y analítica escuchemos: Máquinas virtuales, bases de datos en la nube, arquitectura de información, data warehouse, data lake, data marts, cron jobs, entre otros .Así como nombres de sistemas y herramientas: Power Bi, Tableau, Azure, IBM Watson, R, Python, Matlab, entre otros.

En este blog te compartimos nuestra evaluación y decisión sobre adquirir una de las nuevas MAC MINI con procesador m1. Por primera vez dejamos atrás INTEL y nos atrevimos a intentarlo. Te contaremos nuestro proceso de evaluación así como nuestra recomendación final.

Antecedentes ¿Qué buscábamos en un equipo?

Principalmente potencia, una máquina que pudiera ser utilidad de 5 a 7 años y además que nos familiarizará con un nuevo sistema operativo (Estábamos muy “casados” con Windows y Linux, pero Apple está haciendo cosas muy interesantes que hay que voltear a ver para no quedarnos obsoletos).

Dentro de las opciones y los motivos, entre computadoras potentes de windows no podíamos justificar el precio-beneficio. En todos los “benchmarks” terminaba apareciendo la Mac Mini m1 en una muy buena posición. En muchos planos, era la ganadora y parece que finalmente APPLE ofrecía algo al mercado que teníamos que voltear a ver.

Un punto importante es que la compañía de la manzana hizo un gran trabajo en la eficiencia de uso energético. Nosotros pensábamos dejar este equipo encendido al menos 5 días de la semana para correr algunos “jobs” automatizados y su ahorro energético la hacía buen opción.

Así como un procesador rápido, que vaya a la vanguardia con el mercado y nos permitiera mejorar nuestro trabajo de contenido para academy, podcast y blog

¿Mac sobre Windows para edición? OK … pero para ¿Data Science?

Considerando estos antecedentes, alguna de las opciones de MAC M1 (Laptop, desktops, etc) parecía ser una opción a evaluar para la startup. Aunado a esto, nuestro podcast con casi 60 capítulos ha sido trabajado hasta el día de hoy para edición de audio dede una MACBOOK PRO 2015 con algunas alteraciones como aumento de memoria SSD. Aún así era díficil continuar escalando la producción con un equipo como este.

Para la parte de las ediciones multimedia, el equipo (MAC MINI M1) se justificaba sólo, pero ¿Para Data Science? Aún y cuando buscamos e investigamos en videos de youtube, testimonios, preguntamos en foros, había muy poca documentación sobre como funcionaría para Data Science. Solamente nos podíamos entender con las guías de qué puntuaje tendría el procesador con casos de uso de “single-core” y “multi-core”. En Single core para procesos en batch parece que es bastante competitiva en contraste con su homologa que tiene el procesador de INTEL. Pero, en multi thread, hay ciertos escenarios específicos donde INTEL sigue siendo mejor.

¿Mac Mini M1 2021?

Es la computadora desktop de la clase MINI más nueva que ha sido lanzada con una variante de procesador: M1 sobre INTEL.

Las entradas de cables no son su fuerte, sin embargo encontramos thunderbolt, USB, conexiones a luz, cable ethernet y también entrada HDM1.

Importante decir que esta computadora, por la manera en que se desarrolló internamente, y parecida a modelos recientes de la mac, no puede ser “Updateada”. Es decir, no se le puede ampliar el RAM o alterar el procesador. Por eso mismo seleccionar una versión que sea útil durante el tiempo es importante.

Selección de la mejor versión de Mac Mini M1 2020

La MAC MINI m1 se puede adquirir en su versión básica (8gb de RAM y 256 SSD de memoria de disco) desde $650 dllrs . Las versiones más sofisticadas llegan a valer el doble.

Particularmente, en nuestro caso calculando el costo-beneficio, nos decidimos por la versión de 16 de RAM. Esto porque después de ver bastantes “reviews” hacían énfasis en que el RAM era algo que nos podíamos quedar cortos con 8. Además , particularmente, para tareas de análisis estamos acostumbrados a trabajar con 16 de RAM desde hace 5 años entonces ¿Para qué ir para atrás en este aspecto?

Por otro lado, la opción de memoria SSD no parecía razonable subirla. Esto porque llegar a 1TB subía más de $200 dllrs el valor final de compra. Pero preferimos irnos por lo básico: 256 GB y comprar por fuera una memoria HDD marca LA CLIE de 5 TB por menos de $150 dllrs.

Beneficios

Una configuración como la mencionada, es ideal para disminuir tiempos de renderizado en edición multimedia al menos un 70%. Episodios en calidad 4K que tardaban medio día en la MACBOOK PRO antigua, ahora toman menos de media hora.

Por otro lado, en procesos de analítica de datos. A pesar de unos problemas por no correr los programas de manera “nativa”, debo decir que los procesos se corren más rápido que mi equipo actual (Windows 10 Intel corte i7 8va generación con SSD).

Problemas

El m1 es potente con aplicaciones nativas, pero sí hay algunas diferencias cuando corremos programas que no pueden avanzar con la clase “Apple”. En esta situación el sistema operativo nos sugiere utilizar “ROSETTA” que es un adaptador para poder abrir programas que no tengan una versión nativa de M1.

Si abrimos el monitor de actividades podemos ver en la columna “CLASE” bajo qué esquema corre cada uno de los programas. Si es en APPLE significa que correrá con M1 , de lo contrario será usando ROSETTA.

Recomendaciones finales

Si en tu equipo de trabajo están buscando actualizarse en hardware, la mac mini m1 es una buena opción. Sin ser una computadora con “specs” galácticos o cuánticos, verdaderamente es una buena opción precio-beneficio. Es un equipo multi-usos que además de aprovechar sus capacidades avanzadas de edición te permitirá correr sin problema mucho de tus códigos que hoy corres en tu equipo INTEL

Principales drivers de compra:

  • Precio – beneficio
  • Versatilidad de uso
  • Tamaño y convenencias

Contras de compra

  • No se podrá actualizar su hardware durante el tiempo
  • No todos los programas corren nativos, habrá que usar ROSETTA durante un tiempo
  • La memoria SSD integrada puede duplicar el precio del equipo

Hasta aqui nuestra columna de hoy ¿Qué opiniones tienes de la evaluación? ¿Haz considerado usar un procesador M1? O si ya lo usaste ¿Cuál es tu experiencia? Continua la conversación con nosotros en redes sociales etiquetando a @DATLASMX

Saludos

Equipo Datlas

– Keep it weird –

¿refrigeradores conectados a internet? industria 4.0: iot -investigación datlas

Anteriormente hemos platicado de ciudades inteligentes en donde tocamos brevemente el tema de sensores e internet de las cosas. En esta ocasión queremos contarte un poco acerca de que trata este gran elemento dentro de la transformación digital y la industria 4.0.

Antes de iniciar hay que tener claro que el término “industria 4.0” se utiliza para referirse a la llamada “cuarta revolución industrial”. El término se originó en Alemania en el 2011, y hace referencia a un modelo de manufactura avanzado que incluye tecnologías integradas una con otra de manera física o digital.

Existen varios tipos de tecnologías que pueden ser integradas a estos modelos, como por ejemplo: inteligencia artificial (IA), robots, cloud computing y efectivamente, el Internet de las Cosas (IoT por sus siglas en inglés).

Universidad y 4ª revolución industrial | Aprenentatge Servei

¿Qué es el Internet de las Cosas?

A grandes rasgos, el internet de las cosas encasilla todo lo que está conectado a internet, permitiendo que los objetos se “comuniquen” entre ellos. De manera más específica, el IoT es una herramienta tecnológica que permite integrar sistemas de procesamiento, almacenamiento y comunicación entre diversos procesos conectados entre si.

¿Dónde está presente el Internet de las Cosas?

El objetivo principal del IoT, es automatizar procesos. Por ello, está presente en muchos objetos cotidianos; desde los celulares que usamos, relojes inteligentes, aparatos electrónicos (TVs, consolas), un amplio abanico de electrodomésticos (como refrigeradores) y hasta cámaras.

También está presente dentro de las grandes industrias, por ejemplo en las industrias manufactureras, se encuentra en forma de sensores que mandan alertas si algo está pasando; en los grandes campos de cultivo donde gracias a algunos sensores, se puede conocer a detalle la calidad de la tierra.

Internet de las Cosas: Definición, funcionamiento, 6 beneficios y ejemplos

En el giro de transporte y logística, gracias al IoT, se pueden administrar las flotas de automóviles, barcos y aviones, tomando en cuenta factores como el cambio climático, disponibilidad de la vía, tránsito, entre otros. Además, el IoT se puede usar para mejorar la seguridad de los trabajadores. Por ejemplo, empleados en entornos peligrosos como minas, campos de petróleo y plantas químicas, necesitan tener conocimiento de los posibles eventos peligrosos que podrían suceder. Al estar inmersos en la tecnología IoT, pueden recibir alertas o notificaciones que les permitan tomar las acciones pertinentes.

Los retos actuales del IoT

Ahora bien, conociendo un poco del IoT, sus aplicaciones y beneficios, es importante conocer los retos a los que se enfrenta esta tecnología en el mundo moderno.

En primera, ¿cómo migrar a un ecosistema IoT? Se puede decir que tratar de migrar a la industria 4.0 es complicado. No solamente se limita a grandes inversiones económicas, implementación de tecnologías, equipamiento o softwares. Se trata de realmente lograr un cambio de visión y perspectivas dentro de la compañía, algo que no es para nada sencillo.

Volviendo al tema financiero, los costos de inversión para un ecosistema IoT pueden variar mucho, dependiendo del tamaño de la compañía y los alcances que se buscan, pero podemos asegurar que no es para nada barato. Aunado a esto, se estima que a las compañías, ver el retorno de inversión (ROI) les puede tomar entre 7 y 12 años.

La seguridad y privacidad digital también es un reto que afronta la transformación IoT. Las compañías pueden ser víctimas de amenazas, ataques por parte de hackers y hasta filtración información sensible. Se requiere que se desarrolle confianza en los ecosistemas IoT, sin embargo, las frecuentes amenazas a la seguridad y privacidad, lo hacen un camino difícil de recorrer.

Hasta aquí la columna de hoy. ¿Qué opinas del IoT? ¿En el futuro realmente puede ser más accesible y realizable? ¿Conoces algunos casos de IoT aplicados en la industria? Compártenos tu opinión a través de nuestras redes sociales @DatlasMX

Equipo Datlas

-Keep it weird-

Utilities: abundancia de datos y gran oportunidad para analítica y big data – Investigación DATLAS

Hace alrededor de un mes tuvimos la oportunidad de tener como invitado en nuestro podcast Café de Datos al Global Head of AI & Analytics en Telefónica IoT & Big Data Tech el gran Antonio Pita Lozano con quien estuvimos platicando acerca de la ciencia de datos como una carrera profesional, como ensamblar equipos de ciencia de datos en las organizaciones e incluso nos comentó acerca del Máster en Ciencia de Datos del cual es director en KSchool. En esta columna vamos a tomar una de las aportaciones que más nos sorprendió de la charla con Antonio para profundizar un poco más.

Para iniciar, como es costumbre con nuestros invitados en el podcast, les pedimos que nos compartan ¿con quién se tomarían un café? si pudieran elegir a cualquier personaje de la historia. En este caso Antonio nos comentó un par de nombres famosos, pero terminó inclinándose por Alan Turing. Para quien no lo conozca Alan Turing fue un matemático nacido en Reino Unido que fue un protagonista del desarrollo del campo de la teoría computacional. Recientemente se hizo más famoso por su función de criptógrafo descifrando mensajes de los “nazis” con la máquina ENIGMA después de la segunda guerra mundial. De hecho en Datlas le hicimos un homenaje a este gran personaje por el Día de Muertos que celebramos en México, puedes ver el altar homenaje aquí.

Después de este pequeño ritual de bienvenida para calentar motores Antonio nos relató un poco de su carrera y desarrollo profesional. Durante este bloque comentamos acerca de la transformación digital que han experimentado, y aprovechado, algunos grandes sectores económicos como lo es la industria financiera. Asimismo le pedimos a Antonio que nos diera su perspectiva alrededor de sectores o industrias que tuvieran grandes cantidades de datos y al mismo tiempo una gran oportunidad de aprovecharlos o explotarlos de una mejor manera. Sorprendentemente para nosotros, Antonio nos hizo notar que uno de los sectores que ha tenido una inmersión importante en temas de analítica de datos, después del sector financiero, ha sido el sector de las Utilities y quisimos profundizar un poco en esta parte.

¿Qué son las Utilities?

Las utilities es la denominación en inglés de aquellas compañías que pertenecen al sector energético y de servicios colectivos que prestan servicios de los cuales no se puede prescindir como por ejemplo: electricidad, gas, agua, residuos, etc.

Se consideran empresas seguras puesto que los ingresos son estables, sin embargo, debido a la gran inversión que requieren, suelen tener grandes cantidades de deuda, provocando una gran sensibilidad ante los cambios en la tasa de interés. Un aumento de la tasa de interés, va acompañado del incremento de la deuda, lo que provoca que el funcionamiento de las Utilities sea mejor cuando las tasas de interés están decayendo o se mantienen bajas.

¿Cómo aprovechan el Big Data y la analítica de datos las Utilities?

Antes que nada hay que entender que estas empresas apalancan otra de las grandes tendencias de la transformación digital que es el Internet de las Cosas (IoT) y los sensores.

Growing Technology Acceptance Boosts Demand for IoT in Utilities

Esta nueva forma de obtener datos les permite generar casos de uso como:

Predicción, detección y prevención de cortes de energía

Un corte de energía puede hacer que todo un país se detenga, como el apagón del noreste de 2013 que afectó a más de 45 millones de personas en los Estados Unidos. Las condiciones climáticas desfavorables son una de las principales causas de tales cortes. Las Utilities están construyendo una infraestructura y sensores más inteligentes para mejorar la previsibilidad y prevenir estos escenarios de interrupciones.

Los sistemas modernos de cortes de energía emplean soluciones en tiempo real que operan en base a datos en vivo y algoritmos inteligentes para predecir y prevenir cualquier situación posible.

Estos sistemas son capaces de predecir el impacto de cualquier eventualidad cercana a la red, posibles cortes causados ​​debido a eventos de medidores inteligentes, cortes específicos de la región y más.

Gestión de carga inteligente

Para gestionar de forma eficiente la carga de energía, las Utilities necesitan equilibrar de forma estratégica e inteligente la demanda de energía con un suministro de energía óptimo en un período de tiempo determinado. Tener un sistema de gestión de carga inteligente les permite cubrir los requisitos de gestión de red de extremo a extremo, incluidas la demanda y las fuentes de energía con la ayuda de fuentes de energía distribuidas, sistemas de control avanzados y dispositivos de uso final.

Todos los componentes del sistema de gestión generan datos. Al aplicar análisis de Big Data, las empresas pueden tomar decisiones con precisión con respecto a la planificación y generación de energía, la carga de energía y la estimación del rendimiento.

▷ Mantenimiento Predictivo - Digitalización y optimización de las fábricas

Gestión preventiva de activos

Dado que es una industria intensiva en activos y depende en gran medida del rendimiento óptimo de sus equipos e infraestructura de red. La falla de estos activos puede causar serios problemas de distribución de energía y, en consecuencia, mermar la confianza del consumidor. Por lo tanto, prevenir este tipo de incidentes es una de las principales prioridades de la industria.

Para el mantenimiento preventivo de equipos, el Big Data y la analítica viene al rescate. Los activos están integrados con sensores inteligentes, rastreadores y soluciones de datos que transmiten información en tiempo real al centro. Los datos recopilados se pueden procesar y analizar para identificar posibles problemas con el mantenimiento del equipo, lo que permite un manejo proactivo de la situación.

Mayor eficiencia operativa

Aprovechar los datos en tiempo real de los activos relacionados con la tasa de actividad, el estado de las operaciones, el tiempo, el análisis de la oferta y la demanda, y más, ayudan a las empresas de Utilities a optimizar la eficiencia energética y el rendimiento de los activos. Las aplicaciones de Big Data y analítica les permiten mejorar la confiabilidad, la capacidad y la disponibilidad de sus activos de red mediante el monitoreo continuo del costo y el rendimiento.

Y… ¿de que tamaño es el mercado?

Finalmente, Antonio nos hizo reflexionar acerca de las aplicaciones de Big Data, analítica de datos, Internet de las Cosas y sensores que tiene este sector. Hemos visto ejemplos claros y aplicaciones con casos de negocios sustentados, pero como emprendedores, como proveedores de soluciones de analítica, la última disyuntiva que pudiéramos tener es ¿de qué tamaño es el pastel? y justo nos dimos cuenta que la inversión en analítica por parte de las Utilities ha venido creciendo desde el 2012 y el año pasado logró posicionarse en $3.8 billones de dólares, de los cuales Latinoamérica participa con alrededor de $0.5 billones de dólares.

Así que, al igual que nosotros esperamos que hayas aprendido como nosotros un poco más alrededor de una industria que a pesar de ser longeva tiene una gran oportunidad y ya esta adoptando nuevas tecnologías.

Si eres emprendedor, profesionista o simplemente te interesa adentrarte al mundo de la ciencia de datos te recomendamos escuchar el Episodio #44 de nuestro podcast Café de Datos con Antonio Pita y conocer más acerca del Máster en Ciencia de Datos de KSchool del cual Antonio es el director y tiene un modelo muy interesante de aprendizaje basado no solo en la teoría sino también en la práctica.

Hasta aquí la columna de hoy, no olvides compartirla con tus colegas y seguirnos en nuestras redes sociales como @DatlasMX

Bibliografía:

BigDataissuesandopportunitiesforelectricutilities.pdf

The role of big data analytics in Energy & Utilities (cigniti.com)

Utility | WikiFinanzas – Finanzas para Mortales (wiki-finanzas.com)

5 Tendencias DE datos para gerentes de analytics – datlas investigación

La transformación digital en el 2021 continua siendo impulsada por distintos pilares como cultura, tecnología, sistemas de trabajo y análitica de datos. En esta última es importante seguir actualizándonos y el día de hoy dirigimos esta columna a la gerencia de analytics en las organizaciones. Hablaremos de 5 tendencias para analítica y datos en el 2021. Esta columna está inspirada en nuestra meta-investigación y la columna citada en fuentes de @Prukalpa

Te puede interesar también las tendencias del 2021 que investigamos al principio del año. Revísalas aqui.

5 Tendencias de Datos

1) Se mezclan los Data Warehouse y Data Lakes

Recuerda que hablamos sobre arquitectura de proyectos de datos en este blog y te contábamos las diferencias entre data Warehouse vs Data Lakes.

Las líneas que dividen estos conceptos se borran en algunos sistemas y algunas plataformas de analítica se están conectando de manera directa al lago de datos con tecnologías como SnowFlake.

2) Las herramientas de BI tools se hacen “mainstreams”

PowerBI, Qliks y/o Tableau son el nuevo estándar. De hecho plataformas como Tableau acaban de actualizar sus tarifas a puntos de precios bastante asequibles para PYMES ($35 dólares mensuales).

Sin embargo, recuerda tomar en cuenta la arquitectura de datos recomendada en este tipo de proyectos.

3) Los cursos y centros de excelencia de datos se vuelven el nuevo normal

Las capacitaciones de analistas en ciencia de datos se incrementan a alta velocidad. La intención es que más equipos dentro de las organizaciones se sumen a la transformación digital apalancados en plataformas de analítica.

Muchas organizaciones establecieron presupuestos en la contratación de capacitadores, cursos en línea, alianzas con universidades y programas hechos a la medida para aprender las introducciones a la analítica.

Si te interesa conocer un ejemplo de currícula no olvides revisar “Aprendiendo de Ciencia de Datos para Líderes de Equipo”

4) Emergen nuevos roles de datos

Te suena ¿Data Engineer o Data Arquitect? Sin duda alguna son de los principales roles que hemos planteado en estrategias de datos pero muchos analistas “odian” tener dependencias en sus ejercicios de ciencia de datas a la capacidad de obtener información de los ya muy demandados y ocupados “ingenieros o arquitectos de datos”.

En ese sentido se ha buscado empoderar mayormente a los analistas usando plataformas low-code. También abriendoles accesos a los “data-marts” para poder generar reportes con información básica y recurente.

Lo peor que puede suceder en una estrategia de datos es tener más “cadeneros o cuellos de botella” que solucionadores en los procesos planteados.

5) Las alertas inteligentes en negocios se vuelven “pulsos comerciales”

Hemos notado incrementos en solicitudes y RFQ de compañías que quieren estar más enterados de su contexto. Iniciativas como procesamientos de NLP de redes sociales, seguimiento a notas de ubicaciones estratégicas, “feeds” o síntesis de información de industria, entre otras son alguna evidencia del crecimiento de la “inteligencia” que se construye en los negocios.

Sin embargo, tanta información no es de mucha utilidad si esta no genera “alertas o notificaciones” oportunas para reaccionar. Imagínate que en determinado momento te cambian la tarifa del gas y tienes que esperar a la reunión trimestral de consejo para aceptar los cambios. Pero por otro lado, si usando datos y alertas en tiempo real monitoreamos los incrementos en precios de gas en distintos mercados podemos prepararnos con coberturas para el inminente crecimiento en tarifas.

Hasta aqui la columna de hoy ¿Qué opinas de las tendencias? ¿Cuál crees que es importante monitorear? y ¿Qué medios sigues para alertarte de los cambios en la industria? Sigamos la conversación en redes a través de @DatlasMX

Equipo Datlas

– Keep it weird –

Fuentes

Imagenes de unsplash y pinterest (https://ar.pinterest.com/pin/579345939554969637/)

https://towardsdatascience.com/the-top-5-data-trends-for-cdos-to-watch-out-for-in-2021-e230817bcb16

arquitectura de proyectos de datos (Data warehouses, vs Data lake vs Data mart) – Datlas manuales

Cuando vemos una casa bonita, con buena arquitectura , jardinería bien cuidada e iluminación en su punto lo que menos nos preocupa es cómo está la casa en su plomería y en los cables que hacen que esa iluminación y jardín se vean de primera. Al final tenemos contacto con los interiores y la fachada de la casa ¿Por qué debería de importarme? Bueno si en lugar de una casa habláramos de una plataforma increíble de mapas o dashboard… seguramente tendríamos que entender cómo funciona para poder construir uno para nosotros igual de funcional.

En esta columna hablaremos de la arquitectura para proyectos de datos y cómo funciona la plomería que hace viajar los datos desde su fuente hasta los puntos de consumo por los usuarios.

¿El contexto para el “aprovechamiento de los datos” ?

Desde hace un par de años decidimos comenzar nuestros diálogos sobre data science en foros nacionales con un gráfico así. Nuestra urgencia era comunicar por qué les debería de importar aprovechar todos esos datos que las organizaciones generan.

Ahora, no es tan necesario hablar de esto, la transformación digital a vuelto a los datos los protagonistas del cambio. No hay organización respetable que quiera “dejar valor en la mesa” y no esté ocupando un porcentaje de su tiempo en capitalizar el valor de los datos.

Mencionamos esto como contexto de la columna, el aprovechamiento de los datos muchas veces es dialogado de la parte cultural… pero ¿Cómo perderle el miedo a tratar de entenderlo desde la perspectiva técnica? Esperemos esta columna te apoyo a eso

¿Cómo funciona la plomería detrás de un proyecto de aprovechamiento de datos?

Un proyecto de aprovechamiento de datos para medianas y grandes cantidades de datos se puede ilustrar de la siguiente manera.

  • Existen datos de negocio de distintas fuentes. Puede ser puntos de venta transaccionales, ventas, información adquirida vía terceros (por ejemplo de clima de IBM o negocios de Google Places), de redes sociales, entre otras
  • Estos datos tendrán entrada a nuestros sistemas de información mediante una copia que se dirige a un repositorio de datos denominado “Data Lake” o “Lagos de datos”. En este punto la información es de todo tipo y con estructuras diferenciadas
  • A partir de ahi es importante limpiar, estructurar e integrar las bases de datos de una manera en que puedan ser “consumibles” para nuestros proyectos de datos. Por ejemplo, si tenemos datos de clima y de negocio, podríamos generar una base de datos a nivel código postal o suburbio y cruzar estos 2 datos enlazados a una misma zona de la ciudad. Este proceso puede suceder via un ETL (Extract – Transform – Load ; Extraer – Transformar – Cargar) que son pasos programados para que los datos puedan ser casi listos para ser usados
  • Los datos procesados por el ETL serán ahora información. Esta información podrá ser almacenada en un repositorio llamado “Data Warehouse”. A diferencia del “Lago de datos”, en este “Warehouse” la información compartirá estructura y habrá una mayor homologación entre los sistemas numéricos en los que se registran las variables
  • Estos registros pueden pasar por pasos de “agregación” en donde se hacen sumatorias. Por ejemplo, en el “Warehouse” podríamos tener los registros de toda una semana de una tienda. Pero en la agregación, tendríamos la sumatoria de transacciones por día para poder realizar graficas de resultados diarios
  • Esa agregación la podemos llevar directo a plataformas como dashboards o si queremos manejar cierta discrecionalidad en la información podemos manejar “Data Marts”. Por ejemplo, si queremos que el área de Logística sólo vea información operativa y no financiera podremos generar un Data Mart para aislar los datos y habilitar la construcción de tableros sólo con los datos que les corresponde visualizar

Te podrá interesar nuestras otras columnas: Qué es un ingeniero de datos en el diseño de perfiles de equipos de datos o cómo construir iniciativas de datos

¿Cómo varía por tecnología?

Estas rutas pueden variar por cada tecnología. Pero es válido decir que la mayoría de estas etapas se podrían cumplir en cada tecnología.

A continuación te compartirnos una imagen muy interesante que encontramos sobre los “pipelines” y contrastes entre:

  • AWS (amazon web services). De Lambda y S3 hasta Quicksight
  • Microsoft. De AZURE a PowerBI
  • Google. De big query a Data studio
Elaborado por @scgupta

Cuéntanos en @DatlasMX ¿Qué arquitectura preferirías o prefieres para tus proyectos de aprovechamiento de datos?

Hasta aqui la columna de hoy, gracias por leerla y te recomendamos suscribirte a nuestro podcast para seguir aprendiendo de datos y analítica. Conoce más en https://linktr.ee/datlas

Equipo Datlas

– Keep it weird-

Otras fuentes

Highlights 2020 en negocios y LA BRÚJULA DE tendencias para el 2021 – datlas investigación

**Esta columna de blog también tiene un episodio de podcast “Café de Datos” complementario. Escúchalo de voz del equipo Datlas aqui**

Cerramos un año histórico, sin embargo el “libre mercado” empujado por la cultura capitalista ha movido sus piezas en el mundo. De la misma manera la brújula de tendencias apunta para industrias transformacionales que continuarán impulsando la digitalización y automatización en industrias. En esta última columna del año te compartimos esta agenda para que lo tomes en cuenta para tu 2021

Algunos eventos de impacto durante el 2020 para el ambiente de negocios

1) Adquisiciones de negocios

¿Creías que la más grande fue la compra de SLACK? en realidad encabezan NVIDIA Y AMD con cifras inimaginables

2) Cambios en la composición de activos e las empresas

Mientras hace 40 años los activos que potencializaban el valor de una empresa eran tangibles como inmuebles, efectivo, inventario y tierra en la última década el 90% de los activos de las compañías del índice S&P 500 (Bolsa de valores de Estados Unidos) son intagibles. Tales como patentes, valor de marca, datos de clientes o software propietario

3) Cada vez más profesiones y trabajos en riesgo por pandemia o transformación digital

De las de más bajo ingreso y más frecuentes son enfermeros, intendentes y terapeutas.

4) Cambios de gobierno

Biden y el partido demócrata regresando al poder. Podemos ponerle fin a algunas de las “becas” que el actual liderazgo a concedido a las empresas en términos fiscales. Probablemente se abrirán nuevas oportunidades a empresas extranjeras en el mercado Norteamericano

5) Cambios de contexto

Muchas de las predicciones que no se concretaron al 2020 seguirán vigentes para el 2021. Efectos como frenos económicos, protecciones al consumidor y volatilidad complican las operaciones de negocios para el 2021

También te puede interesar 10 tendencias de negocios para el 2020

Tendencias para el 2021

1) Inteligencia Artificial con $390.9 Bn para el 2025

2) Computación distribuida (Edge) con $15.7 Bn para el 2025

3) Internet de las cosas $1,102.6 Bn para el 2026

4) Salud Digital con $385.8 Bn para el 2025

5) Realidad extendida con $209 Bn para el 2022

6) Robótica con $390 Bn para el 2025

7) Ciberseguridad con $270 Bn para el 2026

8) Vehículos autónomos con $556.6 Bn para el 2026

9) Nano-tecnología con $2.23 Bn para el 2025

10) Gemelos digitales $73.2 Bn para el 2050

Para revisar otras 10 tendencias te recomendamos revisar la publicacion de UNFOLD LABS 21/21

Futuro para Ciencia de Datos en 2021

El valor esperado de BIG DATA es de $224.9 Bn para el 2025. Por otro lado la tecnología geo-espacial (mapas, cartografía , analítica geoespacial y sus agregados) sumarán un valor de $502.6 Bn para el 2024.

– Natural Language Processing (NLP) según Sam Cannon de Facebook

Algunas de las compañías más importantes son: https://huggingface.co/

– Cómputo en la Nube

Más capacidades para procesamiento en la nube

– Desarrollo de mapas más sofisticados

Seguir a iniciativas como la de UBER: kepler.gl

– Analítica en e-ecommerce y salud

Analítica con más protragonismo en nuevos sectores

– Implementación en Apache airflow 2.0

Revisar los detalles en https://airflow.apache.org/

– Computación GPU para Ciencia de datos y ML

Más importancia en las dependencias de procesamiento en GPU que en RAM. Mayor selectividad a la hora de tener desarrollos de ciencia de datos

Cierre

Hasta aqui la columna de hoy ¿Percibes alguna otra nueva tendencia? ¿Qué autores sigues para tener lectura del futuro? ¿ Cómo recibirás y qué proyectos estás desarrollando? para el 2021? Cuéntanos en redes sociales @DatlasMX .

– Equipo Datlas –

Fuentes

– Visual Capitalist. https://www.visualcapitalist.com/visualizing-biggest-tech-mergers-and-acquisitions-of-2020/

– Futuro de Ciencia de Datos. Fuentes: https://medium.com/better-programming/the-future-of-data-science-data-engineering-and-tech-7f0a503745fd

Revolucionando el Big Data con la metodología Six Sigma – datlas investigación

En el mundo actual del Big Data, se necesitan constantemente métodos que nos hagan productivos y revolucionarios, adaptando la reingeniería de procesos a la tecnología que vivimos hoy en día.

Es por ello por lo que en esta sección te mostraremos el cómo es aplicable el Big Data en un método que se dedica a la mejora continua de procesos llamado Six Sigma, el cual ha tenido un impacto por su aplicación a industrias para el enfoque de reducción y eliminación de fallos en sus procesos utilizado como estrategia de negocio y mejora de la calidad.

¿Has escuchado hablar o has aplicado la metodología Six Sigma?

La metodología Six Sigma fue creada en Motorola por el Ingeniero Bill Smith en la década de los 80´s, cuyo objetivo principal es medir la eficiencia operativa de una empresa, en búsqueda constante de soluciones sobre la calidad de sus procesos.

El nombre Six Sigma tomó rumbo en la empresa Motorola por su objetivo para dirigirse a seis desviaciones estándar dentro de sus procesos de fabricación.

Big Data + Six Sigma

Te estarás preguntando el cómo puede relacionarse esta metodología con el análisis de datos y sus aplicaciones, a continuación, te mostraremos la respuesta a este punto.

El Big Data nos permite manejar altos volúmenes de datos para la correcta toma de decisiones tomando como base los diferentes orígenes de almacenamiento de información y representación, aplicando un componente de integración para nuestra metodología.

Mientras que Six Sigma nos orienta al análisis de datos para la productividad estadística con el tratamiento de la data, por medio de la variación y distribución de los datos del proceso a mejorar.

El resultado a dar de estas dos variables nos da un tratamiento de datos integrales que hacen más productivo y comprensible nuestro proceso de representación de datos sobre las necesidades que tiene una empresa o pyme en sus diferentes áreas.

Productividad en Big Data

La mayoría de las empresas tienen una cantidad inimaginable de datos y gráficas, pero al momento de interactuar con ellos no saben que hacer o no los utilizan de forma correcta. Lo cual es cuestionable su toma de decisiones en el área si no se sigue una metodología estadística y predecible, adaptándola al cambio.

Six Sigma sirve para mejorar el desempeño gerencial y hacerlo de clase mundial, lo que le implica dedicar más tiempo a la mejora estructural que al control operativo del proceso.

Aplicación del método DMAIC

El método DMAIC es una herramienta utilizada para la mejora de procesos dentro de Six Sigma, lo cual lo vincularemos al análisis de datos en las empresas y pymes la cuales invitamos a probar esta metodología.

1.- Define (Definir)

Define lo que vayas aplicar en tu proceso de análisis de datos, tus medibles en cuestión de alcances, objetivos y metas

2.- Measure (Medir)

Realiza una medición de la calidad y productividad del trabajo de tu área, recolectando datos que se puedan evaluar.

3.- Analyze (Analizar)

En este proceso se evaluan los datos y hallamos las variables necesarias con un pensamiento crítico sobre el proceso a mejorar.

4.- Improve (Mejorar)

Aprovechamiento en las oportunidades basadas en datos, y correcto manejo de representatividad hacia los objetivos.

Estos siguientes pasos te ayudarán a realizar de manera correcta este paso:

  • Identificar y crear soluciones
  • Centrar las soluciones más adheribles
  • Realizar pruebas
  • Aplicación plan de acción
  • Implementar las mejoras en las áreas

5.- Control (Controlar)

El seguimiento correcto del plan de acción para la mejora del proceso es vital para el control directo de este proceso y su ciclo, dirigiendo diferentes criterios de control como reportes estadísticos y aprovechamiento de la productividad.

¿El Big Data el nuevo Six Sigma para adaptaciones de la Reingeniería?

La adaptabilidad de los procesos de la ingeniería no ha sido un camino fácil, pues han pasado casi 40 años desde sus inicios hasta llegar a un punto en dónde muchos piensan que lo tecnológico hace más obsoleto la metodología, pero no es así.

“Las disciplinas y tecnologías actuales de gestión de la información simplemente no están a la altura de la tarea de manejar todas estas dinámicas. Los administradores de información deben repensar fundamentalmente su enfoque de los datos planificando todas las dimensiones de la gestión de la información “.

En 2012, Mark Beyer (el vicepresidente de investigación de Gartner) dijo lo anterior en un artículo para Performance Excellence Network titulado ‘Is Big Data the New Six Sigma’.

Nuestra experiencia hará más factible el método que queramos implementar sobre un proceso de reingeniería que lo estemos adaptando a esta nueva era, el Big Data y la metodología Six Sigma se llevan muy bien, pero hay que saber planificar todas las dimensiones posibles de conocimiento y aplicación para que nuestros resultados sean constantes y de una calidad única.

¿Y tú… estas preparado para esta adaptación?

Hasta aquí la columna de hoy, ¿Conoces Six Sigma? Comparte con tus colegas y danos tu opinión del tema.

Equipo Datlas

– Keep it weird –

Aprender ciencia de datos y big data – 3 apuntes para empezar YA – Datlas manuales

El año pasado en nuestro blog “¿Cómo aprender ciencia de datos?” compartíamos distintos puntos prácticos para empezar a rodearse de círculos y proyectos de analítica donde cualquier usuario interesado podría atender.

En un par de meses la diversidad de puntos de aprendizaje se ha incrementado. Desde podcast, como “Café de Datos”, hasta cursos en línea de todo tipo de nicho dentro de analítica. Pero el día de hoy en esta columna queremos compartir 3 recursos de utilizad que no te puedes perder si quieres aprender de ciencia de datos este 2020-2021.

Apunte 1) Sigue grupos relacionados a Data Science (ciencia de datos) en Facebook y Linkedin

*Data Science – R & Python

*Data Science

*Data Science Beginners (Para principiantes)

*Machine Learning and Data Science

*Data Science Central

En español:

*Data Science Monterrey

*Ciencia de datos con R

¿Donde aprender ciencia de datos o big data? Desde tu escritorio. Estos grupos en redes sociales en realidad son comunidades de aprendizaje. Personas como tú, que en algún momento quisieron incrementar su acervo en Data Science y han encontrado algunos atajos en su camino que quieren compartir.

Si decides entrar a estos grupos y eres aceptad@. Recuerda que lo importante es: Cumplir con las reglas de las comunidades, aportar conocimiento, preguntar y generar diálogo.

Apunte 2) Sigue cuentas de líderes de opinión en data science

* Asif Bhat – Data Analytics

*Randy Lao – ClaoudML.com

*Kyle MCkiou – Data Science Dream Job

* Favio Vázquez – Scientist

*Eric Weber – Yelp

*World Economic Forum

En español

* Ricardo Alanis – Head of Data Science, Nowports

* Aldo Valadez – Director de Analytics en Banregio

* David Puente – Director de analítica avanzada en ARCA CONTINENTAL

Apunte 3 – Busca contenido de calidad y Gratuito en tu idioma

*Podcast “Café de Datos”

* Data Playbook I – Estrategia de Datos para tu negocio

* Data Playbook II – Generando estrategias de Big Data en tu organización

* Data Playbook III – Ciencia de datos a la mexicana (Lanzamiento 15 de Septiembre del 2020 )

Y si conoces alguna otra fuente de valor compártela en @DatlasMX para que podamos darle compartir y mejorar este contenido para todos.

Hasta aqui la columna de hoy. Nos queda invitarte de manera enérgica a que descargues nuestro Data Playbook Vol. III

Descarga AHORA y aprende sobre ciencia de datos

Saludos y si eres mexican@ disfruta este grito en casa.

Equipo Datlas

-Keep it weird-

Referencias:

Lista de Shrashti Singhal: https://gist.github.com/ShrashtiSinghal

Liga de imagen: https://blog.followclass.com/2016/11/22/the-future-of-education/