Todas las entradas por Datlas

(Esp) En DATLAS habilitamos "big data" (grandes cantidades de datos) en formas amigables para el usuario para resolver preguntas complejas más rápidas (Eng) Enabling big data in a user-friendly way to solve complex questions more quickly Liga: www.datlas.mx

El futuro de la seguridad PARA SMART CITIES (FT. ANALITICA DE DATOS) ¿problemas de privacidad? –

Recientemente podrás haber leído nuestra columna de “CODED BIAS” , el documental de Netflix donde se hace referencia a la inteligencia artificial como potencial causante de un futuro donde las decisiones tomadas por máquinas llevan una carga de sesgo humano. Esta carga es la que genera categorizaciones equivocadas cómo no identificar a personas de razas no blancas, detener personas en la calle por malas interpretaciones, entre otras.

En este episodio daremos un paso adelante y profundizaremos en cómo tecnologías y analítica de datos se combinan para dar pasos avanzados en el tema de seguridad. También reflexionaremos sobre si esto generaría problemas para la privacidad de las personas.

Para entrar motivados a esta columna comenzaremos dando una idea de qué tipo de tecnologías ensamblan a una de las cadenas más famosas de comida rápida.

¿Qué lograron? Apps para pedir bajo demanda, segmentación de visitantes, escaneo de placas, recomendaciones sugeridas, personalización de órdenes en pantallas, auto-servicio para dudas y comentarios y sobre todo hiper-personalización.

Si ellos lo lograron para vender más hamburguesas… ¿Una ciudad lo podrá hacer para cuidar a sus personas?

¿Qué aplicaciones de analítica de datos son usadas al día de hoy para seguridad de la ciudadanía?

1) Identificación de personas por cámaras de seguridad

Las cámaras de CCTV son implementaciones cada ves más frecuentes por delegaciones y municipalidades para monitorear la seguridad en la ciudad. De hecho, puedes ver nuestro blog de “Análisis de cámaras CCTV en el mundo”. donde ciudades como Monterrey acumularon 4.18 cámaras por kilómetro cuadrado (4,000 cámaras) para el 2020. Pero por otro lado, ciudades como Londres tienen 67.5 CCTVs por km2 o Taiuyan China 120 cámaras por km2.

2) Detección de personas contrastando inventarios de imágenes

Además de que las cámaras detecten personas, las CCTVs de más alta definición tienen potencial de hasta 50x de zoom óptico, además de otro tanto digital. Con esto se pueden obtener resoluciones completas de personas. Si estas imágenes se contrastan contra bases de datos de imágenes ciudadanos, por ejemplo en México, de las credenciales de elector para votar o licencias de conducir, es posible deducir quién es la persona que se mueve en la ciudad y dónde gracias a la ubicación de las cámaras.

3) Identificación de autos mediante placas

Una de las más sofisticadas es la detección de placas de autos. Se instalan estos detectores en entradas, accesos, casetas y también en las vías más importantes de la ciudad para detectar las rutas que toman autos.

Imagínense en una persecución, sería sencillo identificar un auto si tenemos sus placas considerando que en una base de datos sabemos donde y en qué momento se han estado movilizando autos con esas placas.

Si quisieras entender cómo funcionan estos algoritmos de clasificación te recomiendo revisar este blog de supervisados vs no supervisados.

4) Etiqueteo de objetos en toma para generar filtros

Hay “ejércitos” de personas y compañías que hoy día se dedican a etiquetar objetos en vídeos y fotografías para poder entrenar filtros en CCTV. De manera en que si quiero detectar autos blancos en el video puedan ser eliminados todos los autos que no sean de ese color. Así como las motocicletas y facilitar las persecuciones de los oficiales.

5) El principio de una ciudad inteligente: Centros de monitoreo

C4 Municipal, C5 Estatales y mecanismos de monitoreo en las ciudades. El principio de ciudades inteligentes es capacitar equipos que puedan monitorear y convertir todos estos datos en protocolos de seguridad. Así como de prevención.

También te puede interesar nuestro podcast donde hablamos de cómo analizar datos para proteger tu negocio.

6) Análisis de reportes vía redes sociales y reportes de ciudadanía

En Monterrey, Nuevo León, México plataformas ciudadanas como CIC han dado de alta la plataforma de CIVIX – Análisis (Liga: https://analisis.civix.mx/ ) en dónde se pueden visualizar y dar seguimiento a denuncias ciudadanas.

¿Y hay preocupaciones por la privacidad ?

La conversación, desde el documental de social dilemma, ha sido más democratizada. Somos más conscientes de que los datos asociados a personas y las problemática de la privacidad de los datos. Antes teníamos que llenar formularios de datos para que se escribieran en una base de datos, ahora con nuestro rostro hay mucha información que pueden saber de nosotros.

En el futuro habrá más conversaciones de ética. Lo importante es saber que estamos en ese punto en el tiempo en el que debemos de identificar que es lo que está pasando y/o está a punto de suceder en muchas ciudades del mundo. Por ejemplo, en México se ha avanzo en una legislación para generar un padrón de números telefónicos e información personal. Puedes ver esta nota de Forbes con todos los detalles. Pero los datos que solicitarán son:

Los datos que tendrían que dar los usuarios mexicanos son:

  • El número telefónico.
  • Fecha y hora de la activación de la linea telefónica móvil adquirida en la tarjeta SIM.
  • Identificador único de la tarjeta SIM.
  • Fecha y hora de activación de la línea telefónica.
  • Nombre completo, domicilio, nacionalidad y datos biométricos, como su huella digital del usuario.
  • Número de identificación oficial con fotografía del titular de la línea.
  • Esquema de contratación de la línea telefónica móvil.

¿Qué riesgos? Bueno un mal uso por parte de las autoridades, mal aprovechamiento de información, vulnerabilidades en información si algún hackear llega a identificarlos, entre otros

También te puede interesar “Fragilidad en sistemas IOT y de seguridad”. Fuente: https://www.elfinanciero.com.mx/tech/sin-protocolo-de-seguridad-empleados-de-verkada-tenian-amplio-acceso-a-camaras-de-clientes-privados/

Hasta aquí la columna de hoy. Hay que continuar manteniendo una postura de ciudadanos digitales y comenzar a preocuparnos por los derechos del mundo del internet y las privacidad de los datos.

– Equipo Datlas –

Keep it weird

UNA REFLEXIÓN BALANCEADA DEL DOCUMENTAL DE NETFLIX: CODED BIAS ¿ INTELIGENCIA ARTIFICIAL RACISTA? – COLUMNA DE OPINION DATLAS

Desde el equipo de Datlas y los autores de las columnas de este blog nos encanta la generación de contenido y difusión sobre temas de analítica, inteligencia artificial y transformación digital. Hemos hecho columnas de documentales como el dilema de las redes sociales: “3 REFLEXIONES SOBRE “SOCIAL DILEMMA” y publicado opiniones sobre nada es privado: “3 reflexiones de Great Hack”. En esta ocasión hablaremos del documental recientemente lanzado llamado “CODED BIAS” que hace referencia a situaciones donde la inteligencia artificial ha mostrado ser racista.

***SPOILER ALERT*** : Si aún no has visto el documental, tal vez quieras detenerte un poco y regresar a esta lectura para no arruinarte o sesgar tus pensamientos.

Los antecedentes ¿De qué trata?

Un estudiante del MIT identifica un problema evidente en la tecnología de la detección facial. Este desarrollo, desde su nacimiento y entrenamiento (Te recomendamos leer “Algoritmos supervisados y no supervisados” para mejorar tu comprensión de este tema), no está preparado para ser usado con la misma eficiencia por personas de color. Este es el preámbulo de toda una controversia de poderes y autocrítica a los desarrollos de inteligencia artificial de la actualidad y la problemática de la toma de decisiones habilitadas por computadora con modelos de “cajas negras” (Esto quiere decir, en pocas palabras, que son modelos donde no podemos identificar con claridad el efecto de cada variable tomada en el resultado o la justificación exacta de un resultado matemático. Solamente un % de ajuste que nos hace sentir matemáticamente certeros de que es el mejor modelo).

¿En cuál problema se centra el documental?

En un problema social. La temática de racismo y discriminación no es nueva en el contexto de la inteligencia artificial. Muchas de las empresas e investigadores que son pioneros en generar sistemas de identificación utilizan condiciones de “entrenamiento de sistemas” con un sesgo demográfico y socioeconómico.

Al no haber la diversidad suficiente en un equipo de desarrollo de algoritmos las predicciones de, por ejemplo, una cámara de seguridad que alerta cuando una persona “parece terrorista en una aeropuerto” , pueden estar vinculadas a una carga cultural y/o sistemática incorrecta.

Ejemplo citado en la película de cómo la policía local de una región del Reino Unido que utilizan cámaras y algoritmos de “profiling” para detener y entrevistar ciudadanos que, a criterio de su sistema, parecen sospechosos han fallado el 91% de las veces

¿Cuál es el problema de continuar con aplicaciones de inteligencia artificial como “facial recognition” o la “identificación facial” sin reconocer y cuidar los sesgos inherentes?

Si el futuro del mundo está alrededor de la inteligencia artificial (IA) y esta es un reflejo de la sociedad entonces tendremos sistemas sesgados.

Ejemplo de asertividad para identificar personas considerando distintas tecnologías: Azure, IBM y FACE (Empresa China)

Esta es una conversación que no es nueva. Constantemente se hacen estas “auditorias” a empresas de tecnología. Bastantes líderes den el sector tecnológico han empoderado un mensaje claro de que no debemos de dejar que la IA gobierne las decisiones humanas sin entender verdaderamente cómo funciona

Recordemos el caso de Steve Wozniak, uno de los fundadores de Apple, que tan pronto la empresa de tecnología lanzó su tarjeta de crédito obtuvo un crédito 10 veces del tamaño del de su esposa. Siendo que comparten cuentas bancarias, antecedentes crediticios y propiedades.

“La aparición estelar: Cathy O’neil”

En el documental “Coded Bias” hay un personaje que hace su aparición y honra decirlo. A opinión personal, el documental debió tratarse de ella. Nos referimos a Cathy Oneal, la autora de “Weapon of Math Destruction”

Cathy es una especialista en el tema de algoritmos, matemática de formación y con mucha experiencia en el diagnóstico de modelos de inteligencia artificial. Comenzó su carrera en la academia y después paso al mundo financiero donde algunas “formas” y consecuencia sde todos los modelos que se trabajaban le empezaron a “sonar raro”

Ha identificado y denunciado algoritmos que han tenido interpretaciones incorrectas en sectores bancarios hasta el mismo sistema legal norte-americano.

Aunque su intervención en la película es pequeña, si has leído alguno de sus libros podrás entender el valor que le aporta al movimiento impulsado por la película.

La reflexión final (opinión del autor de la columna, no a nombre de Datlas)

Mientras por un lado resulta “taquillero” hablar negativamente de la inteligencia artificial, sus impactos en el mundo y los problemas sociales que esta podría causar es justo decir que la conversación debe continuarse ampliando. Muy probablemente veamos nuevas series y documentales hablando del tema.

La temática de este documental no es nueva. Sin embargo había espacios para ser más técnicos y revisar los impactos de un mal uso de la IA en la sociedad. En ese sentido, en el casting debió de haber tenido más protagonismo una especialista en la materia como Cathy Oneil, con espacio para poder aprender mucho más de ella.

Por otro lado, si bien la IA ha generado potenciales problemas también hay muchos escenarios de impacto positivo. Un buen uso de IA y desarrollos con conciencia social auditados por un consejo especializado para reducir sesgos en los modelos pudiera dar brillantes resultados. Creo que esa parte de la historia faltó contarse en este documental que termina siendo algo dramático.

Documentales como estos tienen la oportunidad de hacer resonar propuestas de intervención escalables y transparentes para resolver las problemáticas que presentan. Faltó profundizar en más propuestas en este documental. Sin embargo podemos alegar que la directora Shalini Kantayya nos dejó esa tarea. Ahora tocará a la sociedad investigar más recursos para poder cuestionarnos la aplicación del IA.

Y ¿Cuáles son tus opiniones? Compártenos en @DatlasMX qué fue lo que te gustó y no te gustó del documental ¿Cuál fue tu mayor aprendizaje?

– Equipo Datlas –

Keep it weird

el NUEVO documental de wework (2021) DE hulu ¿ADAN NEUMANN EL HÉROE, EL MARTIR O EL ERROR? – columna de opinion DATLAS

***SPOILER ALERT: Si no has visto el documental y tienes intención de hacerlo sería mejor que leas esta columna después de verlo para poder generar tu propia opinión ***

El pasado 2 de abril de 2021 la plataforma de streaming HULU lanzó un documental sobre la debacle de la empresa “WEWORK”. En el documental se explica como, en poco tiempo, esta organización que vino a “repensar” el coworking y el desarrollo de comunidades habitacionales y de aprendizaje llego a la cima. Pero justo después de tenerlo todo (billones de dólares a su merced de fondos de capital como SOFTBANK) y de inflar la valuación de la compañía a una velocidad inimaginable todo se derrumbó debido a un mal liderazgo. En esta columna te contamos nuestras impresiones

El trailer de la película

¿Qué es wework?

También conocida como la “We” Company (Por su traducción “La compañía de nosotros” haciendo referencia a comunidades) nace en el 2010 en Estados Unidas como una compañía inmobiliaria que provee espacios de trabajo compartidos (cowork) para empresas de servicios y tecnología. No compran la ubicación. La rentan por largo plazo y la subarriendan en distintos espacios. Generan fuentes de inversión y líneas de ingreso de maneras modulares. Aprovechan cada metro cuadrado con diseño y un ambiente “cool”. Sus fundadores Adam Neumann y Miguel McKelvey planteaban una propuesta de valor original y disruptiva para cambiar la forma en que las personas trabajan y colaboran.

Para el 2018 manejaban más de 4 millones de metros cuadrados en propiedades ubicadas en las mejores zonas corporativas del mundo. Su propuesta atractiva que mezclaba comunidad, diseño, café, cerveza, entre otros servicios de valor agregado acercó una comunidad de “millenials” que querían convivir bajo estos parámetros de vida.

Adam Neumann, el protagonista del documental

Adam es el “legendario” fundador de esta empresa que buscaba su rápido acceso al club de los unicornios. Adam era el rostro de la compañía, el CEO y un líder que adoctrinaba a sus empleados, muy al estilo de una secta, a querer estar en WeWork para camibiar el mundo. Durante todo el documental los productores explican como Wework estaba en la búsqueda de convertirse en un “Unicornio”. encontrar el Siguiente Uber, Facebook o Google . Los fondos de capital le querían apostar al caballo correcto y veían en Wework un gran potencial gracias a su crecimiento.

En el documental también se menciona la influencia de su esposa. Una de las influyentes en el uso de los fondos que SOFTBANK inyectó al concepto de “We” y quien amplió a un proyecto de educación la idea comunidad.

Sobre la problemática que realza el documental

“Si las compañías en Silicon Valley se fundan en garages, en NYC se fundan en cocinas”. De acuerdo a la serie “Todo el mundo que hacia una “tech-startup” ibas a ir con wework porque eso te hacía exitoso”. Wework era un sinónimo de Snack Bar, Café, Te, Cerveza, Diseño,

Cada verano promovían un programa organizacional llamado “We Work Summer Camp”, que en la serie lo hacen ver como un programa de adoctrinamiento. 8 horas al día hay platicas sobre los conceptos y los ideales de la compañía. Se brindaban discursos sociales con motivos de mejorar el mundo y haciendo ver a la organización como un pilar de apoyo. Inclusive grandes figuras como Ashton Kutcher participaban como expositores ene stos eventos

LOS ANGELES, CALIFORNIA – JANUARY 09: Ashton Kutcher (L) and Adam Neumann attend WeWork Creator Awards Global Finals at Microsoft Theater on January 09, 2019 in Los Angeles, California. (Photo by Allen Berezovsky/FilmMagic)

De acuerdo al documental, Wework tenía muy clara su audiencia y sabía cómo persuadirlos. Los millenials tienen el “deseo de pertenecer” atienden a un “llamado” y quien mejor lo comunique participará. Sabía comunicar al sueño, persuadir con un propósito y la venta de un sueño. Mucho de la inflación de wework fue atrayendo jóvenes en búsqueda de propósitos profesionales.

Mucho de la inflación de wework fue atrayendo jóvenes en búsqueda de propósitos profesionales

Algunos confundían a Wework con un culto. Agregaron iniciaciones, niveles. Y más cuando empezaron “WeLive”, un sistema de vivienda comunitaria. En el documental entrevistan a los “beta-testers”. Estás viviendo en una especie de hostal. Cuartos pequeños. Pero más allá de eso la gente buscaba una comunidad e identificarse con un grupo. Gente que no tuviera responsabilidades más allá. Gente que quiera pausar sus vidas para intentar cosas nuevas.

Otro de los impactos que lanzaron en un inicio al éxito a Wework fue su marketing. Su propuesta de valor resumía tendencias como nómadas digitales, comunidad, millenials y tecnología. Era “cool” pertenecer a Wework y no hacerlo podría interpretarse como no querer adaptarse a los cambios.

El concepto de “todos tienen equity” para empleados y la organización

En wework “Todos tenían equity” o “stock option”. O al menos eso repetía diariamente Adam a todos los colaboradores de la organización. Al final del documental, declara uno de sus ex-empleados, que en realidad era una opción de compra lo que un empleado nuevo adquiría. Esto no significa que tienes una parte de la compañía , sino que tienes la opción de compra a determinado valor por una parte de la compañía. Pero es bien conocido que mucha gente de otras empresas elegían Wework sobre sus antiguos empleos debido a la promesa de “equity”. Estar en Wework era casic omo pegarle a la lotería.

“La entrada de Softbank” con su filosofía de la búsqueda de la singularidad es una parte importante del documental. Estamos hablando de que el fondo más grande del mundo participó en el sueño de Wework. Esto le dió mucha credibilidad en el ecosistema mundial y combustible para crecer geográficamente y rápido. En términos “verticales” nacieron conceptos como comunidades compartidas y otros intentos de reinventar la educación después de haber “hecho el trabajo”.

Muchos de los empleados declaran a ver sido muy felices trabajando. Esto debido a que la organización es una cultura de “fraternidad universitaria”, la mezcla entre trabajo y fiesta era un balance que les permitía tener una vida “que querían”. Todo esto hasta que se reveló cerca del 2018-2019 los problemas financieros que tenía la compañía, la velocidad a la que “quemaba dinero” y los gastos irresponsables de su CEO como la adquisición de su jet privado.

Una problemática denunciada por “analítica de datos” y big data de la web

En Wework se aprovechaba la tecnología para mejorar el aprovechamiento de espacios. Arquitectos, diseñadores de espacios y analistas contemplaban la dinámica de colaboración que producían sus espacios y generaban ágiles cambios para mejorar la experiencia del usuario

En un caso muy particular sobre uso de datos, una empresa llamada THINKNUM que se dedica a obtener datos de internet y los traduce a pulsos comerciales obtuvo algunos indicadores de WeWork:

  • Calculos de CHURN RATE
  • Mapas de calor en las oficinas para mejorar
  • Web Crawling

En el documental explica el autor de este blog que publicó hallazgos sobre los indicadores a la baja de WeWork que logró estimar con los modelos de THINKNUM. Debido a esto lo expulsaron de sus oficinas de Wework por faltar a la politica de “felicidad” de la compañía.

La reflexión final ¿La recomendamos sí o no?

Este documental es un repaso de la serie de errores que se cometieron en Wework. Levanta conciencia sobre las burbujas y las ridículas valuaciones que mucha startups en edad temprana y sin siquiera ser rentables son dadas debido a un mercado con amplio capital y ansioso por continuar diversificándose. La recomendamos para aquellas y aquellos que quieren aprender de negocios, están involucrados en el mundo startup y científicos de datos que estén buscando aprender cómo vender proyectos internamente.

¿Dónde está ADAM al día de hoy? Revisa esta liga si te interesa saberlo

https://www.refinery29.com/en-us/2021/04/10401535/where-is-adam-neumann-now-wework-explained

Hasta aqui la columna de hoy. Te agradecemos compartirla y darnos tu opinion en @DatlasMX

Equipo Datlas

– Keep it weird –

Fuente:

*https://en.wikipedia.org/wiki/Adam_Neumann

*https://www.refinery29.com/en-us/2021/04/10401535/where-is-adam-neumann-now-wework-explained

*https://www.cbinsights.com/research/report/wework-strategy-teardown/

*https://www.cbinsights.com/research/report/wework-strategy-teardown/

Herramientas tecnológicas de apoyo en monitoreo de incendios 🔥🚒 (Caso NUEVO LEÓN Y COAHUILA MARZO 2021) – investigación datlas

Los incendios forestales han sido tema de conversación para la segunda quincena de marzo 2021 particularmente en el Estado de Nuevo León y Coahuila. Estas dos regiones comparten cadenas montañosas, bellos bosques y sierras imponentes. Sin embargo, en días recientes se han desatado severos incendios. Estos no han podido ser controlados. Al contrario se han expandido en una buena parte de la zona. El equivalente a 100 parques Fundidoras (aproximadamente 126 hectáreas * 100) ha sufrido de incendios.

En esta columna compartiremos algunas tecnologías que pueden ser de apoyo al momento de monitorear estos incendios y sus impactos. Con esto buscamos habilitar y hacer conscientes a más personas sobre el cuidado de la naturaleza. De antemano, nuestra admiración total a todos los cuerpos de rescate y organizaciones que han apoyado para resolver este problema.

1) Google Timelapse para evaluar la evolución de una zona en particular con imágenes satelitales

Así como lo comentamos en “Evolución de mancha urbana” recomendamos usar para una aplicación como monitoreo de zonas afectadas de incendio esta gran herramienta de Google

Con esto podremos ver la evolución de una zona y si las sierras que antes eran de color verde han sufrido algunos impactos después de los incendios.

2) Landsat para obtener imágenes satelitales oportunas del proyecto COPERNICUS y LANDSAT (NASA y equipos satelitales)

Esta sofisticada herramienta permite investigar, recolectar y obtener imágenes satelitales oportunas. Casi diarias, de diferentes zonas del planeta. En este caso hicimos algunos ejercicios para revisar la sierra de Santiago y zonas de impacto del incendio.

En la herramienta podemos seleccionar una zona de interés y solicitar imágenes

Podemos también revisar un mapa por su orografía. particularmente colocar la profundidad de cada zona en diferentes tonos. Esto nos puede ayudar a detectar dónde hay valles. Zonas en donde el incendio puede ser más catastrófico y dónde más controlado.

Otras de las herramientas es la del contraste. Por ejemplo en este video usamos imágenes del 25 de marzo , donde se ven los accidentes que el incendio ha provocado. Y , por otro lado, cargamos información de hace un par de semanas cuando la sierra estuvo nevada por las bajas temperaturas

Finalmente y lo más interesante de la plataforma es la aplicación de filtros de contraste. Por ejemplo, el filtro vegetativo nos ayuda a identificar los residuos de zonas verdes que aún quedan. Por otro lado hay algunos filtros que son de apoyo para detectar incendios.

3) Purple Air para vigilar la calidad del Aire

Estos incendios han provocado impactos en la calidad del aire en las zonas urbanas aledañas. Tal es el caso de Monterey y la zona metropolitana donde toda la semana se ha tenido calidad de aire pésima y mala. Aunado a la COVID-19, las personas tienen que tener cuidado con el daño que esto puede generar en pulmones y/o ojos.

4) Storm Radar para responder ¿Cuándo va a llover?

Una herramienta adicional de apoyo para monitorear ráfagas de viento y lluvia es Storm Radar. La utilidad es que distintos equipos de rescate lo pueden tener en su teléfono inteligente y tomar decisiones de posicionamiento con respecto a los pronósticos esperados.

¿La oportunidad y cómo se está solucionando?

Actualmente se está monitoreando y trabajando en resolver estos incendios desde la Gubernatura del Estado de Nuevo León. También se entró en colaboración con el gobierno de Coahuila para actuar en sinergia.

Gobernador del Estado revisando las zonas afectadas

Foto tomada de: @JaimeRdzNL

La más reciente intervención también tiene usos de tecnología, pero de otro tipo. Se trata de un avión lanzador de agua para poder apoyar con los incendios. Además hemos notado que no han dejado de volar helicópteros de rescate toda la semana tratando de apoyar también.

Tweet tomado de @JaimeRdzNL

Hasta aqui el blog de hoy. Cuéntanos qué otras herramientas de utilidad consideras que apoyarían en el monitoreo de incendios forestales. Estaremos atentos en nuestras redes sociales @DatlasMX

Revisa nuestro podcast y los capítulos de nuestra 3er temporada. Te invitamos a suscribirte dando click en esta imagen

Equipo Datlas

– Keep it weird –

UN MES USANDO EL CENSO 2020 DEL INEGI y te compartimos algunas prácticas – manual datlas

EL CENSO 2020 de POBLACIÓN EN MÉXICO fue publicado hace un par de meses. Con ello información fresca sobre fenómenos demográficos, sociales y económicos pueden ser interpretados en el país. Desde su origen, los censos son apoyos para decisiones de gobierno, empresas y organizaciones sin fines de lucro que buscan influir el desarrollo del país con hechos y datos… no sólo con intuición.

En esta ocasión queremos traer al blog algunas de las menciones que el Presidente del INEGI, Dr. Julio A. Santaella, sobre la importancia y el valor de la información del censo. Si aún no escuchas ese episodio recuerda revisarlo en esta liga.

En esta columna compartiremos las instrucciones para encontrar esta información así como algunos ejemplos de cómo podemos visualizar eso datos.

**Te puede interesar “¿Cómo está México en Salud? Difundiendo datos de la ENSANUT del INEGI”

¿De qué trata el CENSO POBLACIONAL DEL 2020 DEL INEGI?

Es uno de los ejercicios de levantamiento de información primaria más importante del país. Sucede cada 10 años y, en términos prácticos, se toca puerta por puerta cada una de las viviendas del país para recoger, recopilar, evaluar y analizar datos sobre los mexicanos.

¿Qué información se levantó en el censo?

Características poblacionales, datos demográficos, habitacionales, sociales y todo en relación a los habitantes de un país.

¿Cuál es la última publicación?

La más actual es la del 2020. La información incluye datos a nivel nacional, Estatal y municipal. Algunas cifras suelen integrar resolución a nivel AGEB, MANZANA o coordenadas específicas

Algunos ejemplos que publica el instituto

**Te puede interesar “Analítica en Turismo con Datos del INEGI” y “¿Cómo usar datos el INEGI para diseñar estrategias de TURISMO?”

¿Qué información está preparada para su consumo?

En el área de búsqueda del CENSO dentro de la publicación del INEGI es posible encontrar los resultados generales a nivel agregado. La documentación de cada una de las variables. Los tabulados que contienen una presentación de indicadores preparados por el INEGI. Los microdatos si uno quiere llegar a detalles muy específicos de la publicación. Útil para científicos de datos, junto a los datos abiertos.

Otros ejemplos de datos geo-referenciados (DATLAS)

En estos ejemplos para Nuevo León

¿En dónde hay más población?

¿En dónde se concentran más negocios?

¿En dónde hay más católicos?

¿En dónde hay más mayores de 60 años? (Ideas para aplicaciones de vacunas de COVID-19 o similares)

También, te recomendamos echarle el ojo a este gran evento DATA DAYS donde mucho de nuestros aliados participarán con exposiciones de primer nivel. Anímate y revisa en: https://sg.com.mx/datadays/

Si te interesa conocer más no olvides suscribirte al demo gratuito de nuestras plataformas en www.datlas.mx

Hasta aquí la columna de hoy ¿Qué otros usos le puedes dar al censo? Compártenos tus ideas en @DatlasMX y recuerda escuchar nuestro episodio de Podcast donde el INEGI nos cuenta todos los detalles de este gran ejercicio de información

Equipo Datlas

– Keep it weird-

¿La temperatura está relacionada con los contagios de covid-19? (revisión de correlación para nuevo león, méxico? – ManuAles datlas

El mes de febrero fue una locura para algunas ciudades de México. Esto porque se cruzaron factores como heladas bajo cero, cortes de luz, cortes de electricidad, viviendas sin agua por tuberías sin funcionar y , claro está, la pandemia COVID-19 que ya casi cumple un año.

Nos preguntamos en Datlas si alguna de estas variantes habrá impactado para bien o para mal los contagios del COVID-19. Podemos imaginar que el frío hacer que las personas se aíslen un poco más y una helada impide a una gran población salir de sus casas. En ese sentido y usando los datos que podemos obtener de forma más oportuna analizamos la relación entre la temperatura y los contagios para el Estado de Nuevo León

I. Obtención de datos

Para la recolección de datos acudimos a fuentes secundarias en internet como el sitio Visual Crossing para el clima, el INEGI y Secretaría de Salud en México para los datos de COVID-19

Datos de clima

Datos de COVID-19

II. Alcance de datos

La recolección de los datos tuvo como alcance 3 meses. Para la temperatura se tomó como punto de referencia los promedios de las estaciones meteorológicas de Monterrey. Para los datos de COVID se tomaron en cuenta los municipios enlistados en la gráfica de contagios.

Temperatura en Nuevo León

(Hubo 2 días sin registros , cerca de los puntos extremos a la baja)

Contagios de COVID-19

(Nota sobre los valles en la gráfica que corresponden a fines de semana. El equipo de Datlas pidió opiniones a expertos que aplican pruebas y mencionaron que los fines de semana siempre hay baja porque menos personas se hacen pruebas)

III. Diagnóstico de información

Usando la librerya GGALLY en R se diagnóstico a alto nivel la relación entre variables como temperatura, máximos, mínimos, humedad, visibilidad y contagios confirmados por municipio para tener una lectura de cómo se relacionan las variables

IV. Análisis de Correlacion

Revisamos la correlación tomando en cuenta todos los períodos. En realidad los días de análisis fueron de 13 al 19 de febrero ya que la temperatura promedio fue de 4 C° aproximadamente. Así que también generamos un corte de análisis para un mes.

Correlación (Histórico de 3 meses)

Correlacion (Histórico de 1 mes (26 días))

Estos datos no mostraron relación entre alguna variable meteorológica , o la temperatura, y los contagios de COVID-19 en los municipios de estudios para ninguno de los 2 casos.

Te puede interesar leer también “Cómo el COVID-19 afecta la movilidad para los tapatíos”

Regresión ((Histórico de 1 mes (26 días))

Continuando con el proceso, aunque a sabiendas que existiría poca probabilidad de éxito, corrimos una regresión sin encontrar ninguna relación significativa (p_value)

Revisamos la correlación usando datos expresados en %

En un último ejercicio dejamos expresados los datos en la misma forma, en este caso porcentajes de variación, para evaluar si con esto encontramos alguna relación importante. En realidad no la hay. Es evidente que al menos para este espacio temporal los contagios de COVID-19 y la variación del promedio de temperatura no están relacionadas entre sí.

En estas iteraciones no encontramos ningún caso para indagar. Es decir la temperatura no parece estar relacionada con los contagios de covid-19 de la forma en la que se analizaron los datos en este ejercicio.

Pero para futuras investigaciones se recomienda a los analistas considerar variables rezagadas. Pensando que las personas reaccionan a la temperatura un día después de que se presenta una helada o un cambio drástico de temperatura.

Hasta aqui la columna de hoy. Recomendamos seguir en redes @DatlasMX para que nos cuenten con qué otra variable te gustaría que contrastaramos si el COVID-19 tiene una relación.

Comparte y suscríbete a nuestro podcast Café de Datos, que en Marzo cumple su primer año, y que esta semana lanzamos nuestra 3er temporada

Fuentes de datos:

5 Tendencias DE datos para gerentes de analytics – datlas investigación

La transformación digital en el 2021 continua siendo impulsada por distintos pilares como cultura, tecnología, sistemas de trabajo y análitica de datos. En esta última es importante seguir actualizándonos y el día de hoy dirigimos esta columna a la gerencia de analytics en las organizaciones. Hablaremos de 5 tendencias para analítica y datos en el 2021. Esta columna está inspirada en nuestra meta-investigación y la columna citada en fuentes de @Prukalpa

Te puede interesar también las tendencias del 2021 que investigamos al principio del año. Revísalas aqui.

5 Tendencias de Datos

1) Se mezclan los Data Warehouse y Data Lakes

Recuerda que hablamos sobre arquitectura de proyectos de datos en este blog y te contábamos las diferencias entre data Warehouse vs Data Lakes.

Las líneas que dividen estos conceptos se borran en algunos sistemas y algunas plataformas de analítica se están conectando de manera directa al lago de datos con tecnologías como SnowFlake.

2) Las herramientas de BI tools se hacen “mainstreams”

PowerBI, Qliks y/o Tableau son el nuevo estándar. De hecho plataformas como Tableau acaban de actualizar sus tarifas a puntos de precios bastante asequibles para PYMES ($35 dólares mensuales).

Sin embargo, recuerda tomar en cuenta la arquitectura de datos recomendada en este tipo de proyectos.

3) Los cursos y centros de excelencia de datos se vuelven el nuevo normal

Las capacitaciones de analistas en ciencia de datos se incrementan a alta velocidad. La intención es que más equipos dentro de las organizaciones se sumen a la transformación digital apalancados en plataformas de analítica.

Muchas organizaciones establecieron presupuestos en la contratación de capacitadores, cursos en línea, alianzas con universidades y programas hechos a la medida para aprender las introducciones a la analítica.

Si te interesa conocer un ejemplo de currícula no olvides revisar “Aprendiendo de Ciencia de Datos para Líderes de Equipo”

4) Emergen nuevos roles de datos

Te suena ¿Data Engineer o Data Arquitect? Sin duda alguna son de los principales roles que hemos planteado en estrategias de datos pero muchos analistas “odian” tener dependencias en sus ejercicios de ciencia de datas a la capacidad de obtener información de los ya muy demandados y ocupados “ingenieros o arquitectos de datos”.

En ese sentido se ha buscado empoderar mayormente a los analistas usando plataformas low-code. También abriendoles accesos a los “data-marts” para poder generar reportes con información básica y recurente.

Lo peor que puede suceder en una estrategia de datos es tener más “cadeneros o cuellos de botella” que solucionadores en los procesos planteados.

5) Las alertas inteligentes en negocios se vuelven “pulsos comerciales”

Hemos notado incrementos en solicitudes y RFQ de compañías que quieren estar más enterados de su contexto. Iniciativas como procesamientos de NLP de redes sociales, seguimiento a notas de ubicaciones estratégicas, “feeds” o síntesis de información de industria, entre otras son alguna evidencia del crecimiento de la “inteligencia” que se construye en los negocios.

Sin embargo, tanta información no es de mucha utilidad si esta no genera “alertas o notificaciones” oportunas para reaccionar. Imagínate que en determinado momento te cambian la tarifa del gas y tienes que esperar a la reunión trimestral de consejo para aceptar los cambios. Pero por otro lado, si usando datos y alertas en tiempo real monitoreamos los incrementos en precios de gas en distintos mercados podemos prepararnos con coberturas para el inminente crecimiento en tarifas.

Hasta aqui la columna de hoy ¿Qué opinas de las tendencias? ¿Cuál crees que es importante monitorear? y ¿Qué medios sigues para alertarte de los cambios en la industria? Sigamos la conversación en redes a través de @DatlasMX

Equipo Datlas

– Keep it weird –

Fuentes

Imagenes de unsplash y pinterest (https://ar.pinterest.com/pin/579345939554969637/)

https://towardsdatascience.com/the-top-5-data-trends-for-cdos-to-watch-out-for-in-2021-e230817bcb16

1 mes usando clubhouse desde latam y esta es la experiencia – datlas columna de opinión

Las redes sociales parecen uno de los territorios más dominados del internet. Hoy en día seguro pensarás en Facebook, Instagram, Whatsapp, Snapchat o Twitter. Haciendo esfuerzo por pensar en las de nicho tal vez mencionemos “Linked-in”, una de las redes profesionales con más usuarios y que hace un par de años fue comprada por Microsoft.

En esta columna hablaremos un poco sobre la nueva sensación de “Clubhouse” desde la perspectiva del equipo Datlas ya que tuvimos acceso hace ya casi 1 mes a este aplicativo en México.

Pero… lo que es una realidad, ahora más que nunca en pandemia donde estamos o deberíamos estar aislados en nuestros hogares la gente ha buscado nuevas formas de conectar. Una opción que ha tenido mucho crecimiento en atención es “Clubhouse” (CH), una app móvil (ahora sólo para IOS iphones). En esta red social los usuarios conectan con otras personas mediante foros de interés con tópicos específicos como ventas, liderazgo, startups , música, deportes, entre otros. Estos foros tienen locutores , moderadores y participantes que generan un diálogo abierto estilo entrevista de podcast. Recientemente ha aumentado su número de seguidores significativamente.

La “exclusividad” generada en Clubhouse

De acuerdo al sitio “https://www.businessofapps.com/” la app fue lanzada el 8 de abril del 2020 con sede en San Francisco, California, Estados Unidos de América. Los nombres de los fundadores son: Paul Davison y Rohan Seth.

A noviembre del 2020 la app tenía cerca de 200 mil usuarios. En diciembre sumaba 600 mil usuarios. Al día de hoy la app ronda los 2 millones de usuarios. Estas cifras se valoran con todo y que la app tiene “cierta exclusividad” ya que sólo puedes acceder por invitación. Cada nuevo usuario tiene 2 nuevas invitaciones. En el transcurso de este mes han liberado otras 4 a usuarios que entraron con anterioridad.

¿Su valuación? Ya rebasa el billón de dólares de acuerdo a algunos levantamientos de capital ($120 mdd en total) que les permitirán robustecer el desarrollo para soportar más usuarios y también lanzar para el sistema operativo ANDROID.

Los temas más comunes de salas de CH

Emprendimiento, deportes, inversión, fe, lugares de viaje, tecnologías disruptivas, viajes interplanetarios, salud, entre otros.

En realidad cada día nuevas comunidades se migran a CH. Mayormente son de habla inglesa, sin embargo hay espacio para todos los idiomas sólo hay que seguir a las comunidades adecuadas.

Personalmente, desde el ingreso, sólo hemos podido participar en un par de salas para hispanohablantes entrando al club de “Latin America Tech Club”. Aún falta que la comunidad de LATAM crezca, siguen protagonizando las charlas en inglés.

Generando “viralidad” en la red

Elon Musk, serial entrepreneur, at TED2013: The Young, The Wise, The Undiscovered. Wednesday, February 27, 2013, Long Beach, CA. Photo: James Duncan Davidson

La red se ha vuelto muy famosa porque hay algunos líderes globales que están buscando otras opciones adicional a sus redes actuales. Por ejemplo, Twitter, ha censurado y elevado las reglas de diálogo por lo que algunos están migrando algunas de sus conversaciones a redes como CH.

Por ejemplo, ELON MUSK, visitó la red hace un par de días y las salas se desbordaron. Se pretendía que iba a anunciar un nuevo lanzamiento, ajustes a su tecnología, hablar sobre su calendario de vida y/o lanzar la nueva crypto-moneda donde está participando.

En fin, muchos de estos temas fueron especulaciones, pero lo cierto es que en cosa de milisegundos la sala donde se presenció este evento llegó al limité de los 5,000 participantes.

Se especula que la red tiene iniciativas de atraer un programa de influencers así como atraer más famosos. Ashton Kutcher, por ejemplo, también ha participado. Muchísimos fundadores de startups en crecimiento también han sido moderadores en diálogos.

Futuro de Clubhouse

Los programas de CH se están haciendo más recurrente. Las comunidades están haciendo salas semanales donde convocan a grupos de personas para dialogar sobre un mismo tema. Hay verdadero valor agregado en el “conocimiento colectivo” que se obtiene en las conversaciones. Clubhouse llegó para darle más poder a la “voz” que nunca antes.

Actualmente la exclusividad ha hecho que el centro de gravedad en la red sea para quien tiene contactos pero en un par de meses se espera que haya formas de dar “propinas” o pagar un “ticket” de entrada a ciertos cuartos en específico.

De cualquier forma, CH, continuará creciendo su base de usuarios. Pero las otras redes no se quedan atrás. Los fundadores de Twitter y Mark Cuban (Shark y dueño de equipo de la NBA Dallas Maverick) han dado indicios de redes con aplicaciones de voz similares.

Recomendamos investigues esta red y si te gusta la propuesta busques añadirte a la lista de espera para involucrarte a conversaciones tan pronto sea posible ¿No te hubiera encantado ser de los o las primer@s en Linkedin o Twitter? Parece que esta es la oportunidad aqui en CH.

Hasta aqui la columna de hoy, te recomendamos conocer todo nuestro contenido gratuito dando click aqui. ¿Ya estás listo para usar CH? Búscame como @pedrovallejo

Equipo Datlas

– Keep it weird –

Fuentes:

arquitectura de proyectos de datos (Data warehouses, vs Data lake vs Data mart) – Datlas manuales

Cuando vemos una casa bonita, con buena arquitectura , jardinería bien cuidada e iluminación en su punto lo que menos nos preocupa es cómo está la casa en su plomería y en los cables que hacen que esa iluminación y jardín se vean de primera. Al final tenemos contacto con los interiores y la fachada de la casa ¿Por qué debería de importarme? Bueno si en lugar de una casa habláramos de una plataforma increíble de mapas o dashboard… seguramente tendríamos que entender cómo funciona para poder construir uno para nosotros igual de funcional.

En esta columna hablaremos de la arquitectura para proyectos de datos y cómo funciona la plomería que hace viajar los datos desde su fuente hasta los puntos de consumo por los usuarios.

¿El contexto para el “aprovechamiento de los datos” ?

Desde hace un par de años decidimos comenzar nuestros diálogos sobre data science en foros nacionales con un gráfico así. Nuestra urgencia era comunicar por qué les debería de importar aprovechar todos esos datos que las organizaciones generan.

Ahora, no es tan necesario hablar de esto, la transformación digital a vuelto a los datos los protagonistas del cambio. No hay organización respetable que quiera “dejar valor en la mesa” y no esté ocupando un porcentaje de su tiempo en capitalizar el valor de los datos.

Mencionamos esto como contexto de la columna, el aprovechamiento de los datos muchas veces es dialogado de la parte cultural… pero ¿Cómo perderle el miedo a tratar de entenderlo desde la perspectiva técnica? Esperemos esta columna te apoyo a eso

¿Cómo funciona la plomería detrás de un proyecto de aprovechamiento de datos?

Un proyecto de aprovechamiento de datos para medianas y grandes cantidades de datos se puede ilustrar de la siguiente manera.

  • Existen datos de negocio de distintas fuentes. Puede ser puntos de venta transaccionales, ventas, información adquirida vía terceros (por ejemplo de clima de IBM o negocios de Google Places), de redes sociales, entre otras
  • Estos datos tendrán entrada a nuestros sistemas de información mediante una copia que se dirige a un repositorio de datos denominado “Data Lake” o “Lagos de datos”. En este punto la información es de todo tipo y con estructuras diferenciadas
  • A partir de ahi es importante limpiar, estructurar e integrar las bases de datos de una manera en que puedan ser “consumibles” para nuestros proyectos de datos. Por ejemplo, si tenemos datos de clima y de negocio, podríamos generar una base de datos a nivel código postal o suburbio y cruzar estos 2 datos enlazados a una misma zona de la ciudad. Este proceso puede suceder via un ETL (Extract – Transform – Load ; Extraer – Transformar – Cargar) que son pasos programados para que los datos puedan ser casi listos para ser usados
  • Los datos procesados por el ETL serán ahora información. Esta información podrá ser almacenada en un repositorio llamado “Data Warehouse”. A diferencia del “Lago de datos”, en este “Warehouse” la información compartirá estructura y habrá una mayor homologación entre los sistemas numéricos en los que se registran las variables
  • Estos registros pueden pasar por pasos de “agregación” en donde se hacen sumatorias. Por ejemplo, en el “Warehouse” podríamos tener los registros de toda una semana de una tienda. Pero en la agregación, tendríamos la sumatoria de transacciones por día para poder realizar graficas de resultados diarios
  • Esa agregación la podemos llevar directo a plataformas como dashboards o si queremos manejar cierta discrecionalidad en la información podemos manejar “Data Marts”. Por ejemplo, si queremos que el área de Logística sólo vea información operativa y no financiera podremos generar un Data Mart para aislar los datos y habilitar la construcción de tableros sólo con los datos que les corresponde visualizar

Te podrá interesar nuestras otras columnas: Qué es un ingeniero de datos en el diseño de perfiles de equipos de datos o cómo construir iniciativas de datos

¿Cómo varía por tecnología?

Estas rutas pueden variar por cada tecnología. Pero es válido decir que la mayoría de estas etapas se podrían cumplir en cada tecnología.

A continuación te compartirnos una imagen muy interesante que encontramos sobre los “pipelines” y contrastes entre:

  • AWS (amazon web services). De Lambda y S3 hasta Quicksight
  • Microsoft. De AZURE a PowerBI
  • Google. De big query a Data studio
Elaborado por @scgupta

Cuéntanos en @DatlasMX ¿Qué arquitectura preferirías o prefieres para tus proyectos de aprovechamiento de datos?

Hasta aqui la columna de hoy, gracias por leerla y te recomendamos suscribirte a nuestro podcast para seguir aprendiendo de datos y analítica. Conoce más en https://linktr.ee/datlas

Equipo Datlas

– Keep it weird-

Otras fuentes

¿Cómo shazam y youtube saben qué canción está sonando? – datlas investigación

Los tiempos de trabajar en casa por COVID-19 han hecho que mejores nuestros espacios de trabajo. Entre lo más buscado: Sillas ergonómicas, aromatizantes, iluminación, termos para café, entre otros. Todo lo necesario para tener un buen ambiente que motive al trabajo… pero ¿Y lo qué escuchamos?

Algunas comunidades en spotify y en otras plataformas han generado “playlist” o listas musicales para escuchar mientras trabajamos. Estilos como lo-fi, jazz o música clásica es lo que más suena. Pero cuando nos encanta una canción que te gusta ¿Cómo identificarla para guardarla? Seguramente has escuchado de SHAZAM, esta app que compró Apple que tiene uno de los mejores algoritmos para detección de música.

En esta columna, motivados por el vídeo de Jaime Altozano, compartiremos un poco de cómo funciona este tipo de sistemas que te detectan música que hoy usa Apple, Android o Youtube para detectar canciones.

Sonido en imágenes, El espectrograma

Un espectrograma es una representación visual de una frecuencia de una señal que varía con el tiempo. Los ejes utilizados para plasmar estas señales en un plano cartesiano son el tiempo y la frecuencia. En concreto entre más alta sea la frecuencia más agudo será el sonido y entre más baja será más grave.

El encuentro en un punto dentro del gráfico entre el tiempo y la frecuencia genera una “coordenada”. Esto quiere decir que con este recurso podemos convertir sonido en datos. Cuando esto se trata de una canción pensemos que funciona como una “huella digital”. Cada canción tendrá una combinación única y distintiva que permitiera reconocerla entre el universo musical que existe

Detección de patrones en espectrograma

Considerando la publicación de Avery Wang, creador de Shazam y quién publicó un “paper” científico para explicar cómo funciona el sistema, la detección ocurre contrastando los datos de canciones recopiladas en espectrogramas con una base de datos previamente procesada.

Para que el procesamiento sea lo más ágil posible de cada registro musical se almacenan los máximos locales y son estos puntos los que se contrastan con la base de datos.

La detección sistemática por Avery Li-Chun Wang (Creador de Shazam)

La detección sistemática planteada en el método de Avery Wang finalmente sucede gracias a la conversión de estos registros a “hashes” únicos por canción. Esto vuelve más ágil las conexiones y búsquedas en bases de datos. Así mismo aproxima el parecido de una canción a otras ya que los hashes pueden ser construidos similares entre los primeros caracteres por la similitud de las canciones.

La clave del éxito, “la velocidad”

Para trabajar el problema de la velocidad, es decir, para que verdaderamente este sistema fuese de utilidad debería detectar e identificar la canción de una manera relativamente ágil. Tal vez en unos 20 ó 30 segundos .

Esto lo resolvió usando como punto de partida otros identificadores que permitirían una búsqueda más ágil. En este sentido realizó el cálculo de las distancias entre una frecuencia y otra. En ese sentido tendríamos 3 variables para cada segundo se sonido: El tiempo en el que suena determinada frecuencia y la brecha que hay entre esa frecuencia y la contigua.

Esto, sin duda, hace que el esfuerzo de detección de coincidencias entre la música sea menos dependiente en poder procesamiento y más dependiente en capacidad de almacenamiento. Pero ¿Sabes qué sí se logra? Que sea más ágil y rápido.

Documentación Completa

Te compartimos esta charla de una hora por Peter Sobot del equipo de Shazam donde explican más a detalle el sistema

Cierre

El desarrollo de Shazam fue un punto de partida para muchas investigaciones nuevas sobre detección de sonidos. Hoy en día plataformas como YOUTUBE identifian si usas o no una canción con licencia gracias a este tipo de sistemas. O por ejemplo, la NASA, tiene proyectos que almacenan sonidos geo-referenciados de cualquier parte del mundo. También hay aplicativos que almacenan y detectan sonidos de pájaros para decirte a qué especie estás escuchando.

Estas y otras aplicaciones son facilitadas gracias a lógicas como la desarrollada por Avery Wang ¿Se te ocurre otra aplicación? ¿En qué otra plataforma crees que hayas utilizado este tipo de tecnologías? Déjanos tus comentarios en @DatlasMX o redes sociales para poder complementar este diálogo

Equipo Datlas

– Keep it weird –

Fuentes: