Archivo de la etiqueta: Data scientist

Ciencia de datos para todos : ¿Cómo ha cambiado la movilidad de los usuarios de Twitter en Monterrey por el covid-19?

“Twitter es lo qué está pasando en el mundo y sobre lo que las personas están hablando en este momento.”

Las redes sociales son relativamente nuevas y han cobrado importancia en nuestra vida cotidiana al grado que no nos sentimos cómodos si vamos a un restaurante y no publicamos en Instagram lo que ordenamos para que nuestros amigos se enteren donde estuvimos y que hacíamos ahí o por ejemplo cuando por la mañana nos levantamos a hacer ejercicio y es imposible no publicar nuestra foto en lo más alto de la montaña.

Es por eso que el análisis de las interacciones en las redes sociales ha cobrado la misma importancia, para muchos negocios, que las redes sociales en nuestras vidas. Por ejemplo, para saber de qué se está hablando de nuestra marca, si es algo positivo o negativo y cuantificarlo. Estos enfoques son muy bien conocidos en el área de análisis de textos.

Sin embargo, el día de hoy nuestro enfoque tomara otro rumbo. Responderemos a dos preguntas fundamentales: ¿Cómo ha sido el comportamiento de los usuarios en los últimos meses?  Y ¿Cómo ha cambiado por el covid-19?  

*También te puede interesar un estudio similar para Jalisco o CDMX

Desarrollo

Con una base de datos de alrededor 7200 check-in’s (el registro de una persona en cierto lugar), más de 15 variables (fecha y hora, lugar donde se hizo el registro, municipio de residencia, usuario, ubicación exacta, entre otras) y algo de trabajo se pueden generar diversos insigths de valor.

Pero antes de llegar a esos insigths de valor hay camino por recorrer. La primera pregunta en cuestión es: ¿Cómo conseguir este tipo de información en un sitio web tan protegida como lo es Twitter?

No hay forma de conseguir esta información si no es mediante la API (Application Programming Interface) de Twitter. La API cumple la función de una interfaz para que dos softwares interactúen y puedan intercambiar información. Para tu poder hacer un request desde tu computadora (Con programas como Python y R) y acceder a este tipo de información debes llenar una solicitud, una vez aprobada la solicitud Twitter te hará llegar las API keys, el identificador que te autentica como usuario de las API. Para más información clic aquí.

 

Una vez obtenido la información sigue la fase de trabajar los datos para posteriormente pasar a la fase de análisis. Nos referimos a la fase de homologar ciertas variables o categorizar observaciones en función de valores que toman algunas variables, en nuestro caso categorizamos los lugares a donde las personas han asistido los últimos meses. Otro ejemplo de esta fase es poner las fechas en un mismo formato (año/mes/día o día/mes/año) para no tener problemas al momento de visualizar los datos en una línea de tiempo.

Datlas_Promo_Facebook_Suscribe

 

Ahora si el plato fuerte, el análisis. Aquí empezamos viendo la estructura y distribución de cada una de nuestras variables, y modificar en caso de que algo este fuera de lugar, por ejemplo, las variables categóricas cambiarlas a factores si están como texto. Una gran parte del análisis es el momento de crear visualizaciones, esta es la parte creativa del analista porque ahora si que los límites para crear visualizaciones son muy extensos, claro, siempre con el cuidado de generar buenas visualizaciones no únicamente en el sentido de que se vean bonitas sino que también transmitan un mensaje claro y único. Otra gran parte del análisis es crear modelos estadísticos que expliquen a una variable (variable dependiente “y”) en función de otras variables (variables independientes “x”) y/o ayuden a predecir el comportamiento de la variable en el futuro.

Finalmente, llegamos a la etapa de conclusión y exposición de resultados, básicamente es ver el contraste entre la hipótesis que te hayas planteado o la pregunta que quieres responder y lo que los datos te dicen para después plasmarlo en una presentación o un texto.

Todas estas etapas aunque se escuchen muy “básicas” realmente las llevamos a cabo en nuestro análisis y es por eso que nos pareció importante no sólo exponer los resultados sino todo el desarrollo para que el lector que no este tan familiarizado en este ámbito pueda tener una mejor comprensión y no solo eso sino que se lleve un verdadero aprendizaje .

¿Qué encontramos?

Antes de empezar con las visualizaciones es importante mencionar que las primeras medidas preventivas en Nuevo León tomaron lugar el 17 de marzo del 2020, el día que cancelaron actividades escolares a nivel bachillerato y superior, y posteriormente el día 20 del mismo mes en los niveles básicos (primaria y secundaria).

La primera incógnita que nos gustaría responder es : ¿En qué magnitud o proporción ha disminuido el tráfico de check-ins en Twitter una vez iniciadas las medidas preventivas covid-19?

Esta gráfica ordena los días de la semana por mes, cada color es una etapa diferente: diciembre-2019 (azul) , antes de prevención covid (verde) y una vez iniciada la etapa de prevención covid (rojo).
Esta gráfica ordena los días de la semana y nos ayuda a visualizar la proporción de check-ins realizados en cada etapa.

 

 

Para poder crear estas visualizaciones tuvimos que categorizar nuestros datos en tres grupos (diciembre-2019, Antes de prevención covid y Después de prevención covid). En las dos gráficas se aprecia una caída significativa en los check-ins registrados una vez iniciadas las prevenciones covid. Se podría argumentar que esto se debe a la naturaleza de los meses abril, mayo y junio, sin embargo, llama mucho la atención que la primera mitad de marzo tenga mucha actividad y la segunda mitad se vea estancada. Hablando más puntualmente los chek-ins tuvieron una disminución del 75%.

Datlas_Promo_Podcast_Suscribe

 

Otra visualización que hicimos fue una especie de heatmap que nos permitiera ver por mes cuales fueron los municipios del área metropolitana con mayor actividad y en este sentido ver que municipios menos siguieron las recomendaciones de los expertos.

Heatmap de actividad por municipio y mes. No se estandarizo para numero de check-ins por habitante.

Ahora, pasaremos a contestar la pregunta ¿Cómo ha cambiado el comportamiento de los check-ins durante el covid? Para responder esta pregunta hicimos un cluster de 17 grupos y visualizamos la proporción de check-ins para cada grupo. Algunos de los grupos son: comida (restaurantes), entretenimiento (cines, boliches, parques, etc), Salud (hospitales, clínicas y gimnasios), Autoservicio (tiendas de autoservicio como H-E-B y Walmart), residencial (zonas residenciales), etc.

Proporción y orden de los grupos en las diferentes etapas de la contingencia. Comparativa de tipo de lugar donde la gente hace check-ins por etapa.

Podemos observar que en las primeras dos gráficas el orden y proporción de los grupos son muy parecidos y esto cambia considerablemente para la tercera. Dos grupos que han cobraron mucha importancia durante el tiempo de la pandemia son autoservicio y residencial, por otra parte, los grupos de entretenimiento, vida nocturna y aeropuerto pasaron de ser primeros a últimos. Considerar todos los ángulos a la hora de hacer un análisis es muy importante porque si no nos detuviéramos a ver a donde realmente la gente ha acudido y solo hubiéramos analizado las primeras tres gráficas probablemente nos quedaríamos con una mala impresión de los municipios de Monterrey y San Nicolás que han sido los municipios con mayor actividad y precisamente con esta gráfica podemos ver que mucha de esa actividad es desde sus casas.

Datlas_Promo_Youtube_Suscribe

Por último ¿qué podemos decir de estos resultados? Tenemos información suficiente para decir que la pandemia ha cambiado la manera en la que las personas hacen check-ins en magnitud y forma. En su mayoría la gente se está quedando en casa y está asistiendo primordialmente a lugares de primera necesidad como tiendas de autoservicio donde surten la despensa y restaurantes, no obstante, se sigue asistiendo a lugares que probablemente no se consideren de primera necesidad como ir al aeropuerto para ir a vacacionar y asistir a hoteles, donde, probablemente hoy sean los lugares con mayor riesgo de contagio y es por eso que invitamos a todos nuestros lectores a seguir las indicaciones de los expertos y no salir de casa a menos que sea necesario.

Esta columna fue desarrollada por Alejandro Rodalgo,  participante del programa de “intern” de Datlas en investigación. 

Saludos

Equipo Datlas

¿Big data en mi organización? Cómo puedo empezar – Datlas Research

Hemos tenido oportunidad de estar presentes en algunos de los foros y conferencias más destacados del país en cuanto a transformación digital se trata. Una de las preguntas qué más frecuentemente nos hacen cuando empezamos a entrarle a todos los conceptos de analíticos es ¿Cómo se empieza esto del big data? En esta columna daremos una guía resumida de cómo iniciar una estrategia de datos así como compartir algunas de las mejores herramientas para volver realidad big data en tu organización.

Datlas_barra_suscribir

Este es un blog para avanzados, si quieres familiarizarte antes con algunos conceptos puedes profundizar un poco más consultando nuestro DATA PLAYBOOK Gratuito.

¿Cómo aprovechar el Big Data? Dentro de las muchas definiciones nos centraremos en la que considera aprovechar la mayor cantidad de puntos de generación de información a los que tiene acceso tu organización. El primer paso lógico identificar la oportunidad para tu organización “mapeando” los datos a los que se le pudiera extraer más valor.  Puedes leer los ejemplos en  “Almanaque Datlas ¿Cómo convertir datos en dinero?” .

El pase de diapositivas requiere JavaScript.

Ideación para Big Data. Como cualquier fase en las estrategias de transformación digital, lo sugerido es integrar a los tomadores de decisiones y líderes de influencia en tu organización en talleres de ideación. Esto te servirá para integrar la visión estratégica de distintas áreas en tu estrategia de big data, ir gestionando el cambio cultural de manera más natural y enlistar los proyectos que más sentido le hagan a diversas áreas.

El pase de diapositivas requiere JavaScript.

Monetiza los resultados.  En algún momento tendrán que priorizar los recursos de la organización, obtener presupuestos y echar andar en los mejores calendarios algunos pilotos de propuestas.

Datlas_barra_suscribir

Durante toda la conversación es conveniente iniciar con KPIs (metas medibles claras) y alinear todas las decisiones durante los pilotos hacia estos objetivos. Siempre cuidando que estos KPIs puedan ser monetizables. Puedes leer también 15 métricas para tu PYME

El pase de diapositivas requiere JavaScript.

Selecciona a los perfiles adecuados. Hemos hablado mucho en nuestras conferencias sobre la relevancia de identificar las habilidades que requieren los retos que hayas mapeado en la organización. Un “skillset” o set de habilitades habitual para los retos de data science integran, pero no se limitan a: Computación, matemáticas, lógica, modelos predictivos, investigación, comunicación y aprendizaje computacional avanzado. Puedes leer también  5 perfiles para una estrategia de datos.

El pase de diapositivas requiere JavaScript.

Monitorea, ejecuta y repite. Una vez que ejecutes los pilotos. Decide dónde profundizar y genera actividades más recurrentes que vengan acompañados de metodologías. En cada iteración hay que buscar la mejora continua y la especialización. Puedes leer ¿Por qué no necesitas un data scientist?

El pase de diapositivas requiere JavaScript.

Hasta aqui la columna de hoy, si conoces a alguien que esté liderando una transformación digital y estrategias de analítica en su organización compárte este blog. También, no olvides consultar nuestro DATA PLAYBOOK Gratuito.

Saludos y gracias por leer.

Datlas

-Keep it weird.

Por qué no necesitas un Data Scientist (es Clickbait) en tu organización Parte 1 – Datlas News

Data scientist la carrera “más sexy” del 2018. Los científicos de datos son los mejores pagados.  Los datos son el petróleo del futuro. Habrá un déficit de 400k especialistas de big data para 2020. Si no estás avanzando con un equipo que desarrolle Inteligencia Artificial vas a quebrar.

¿Les suena conocido? No he dejado de escuchar en cada conferencia de empresarios que nos toca asistir aseveraciones de tal calibre. Justamente queremos hacer la reflexión sobre este tema en esta columna. Y que no cunda el pánico, no es una discusión de 1-0 o blanco y negro. Pero sí hace falta balancear el diálogo de si tu empresa necesita un especialista en datos o no. Iniciamos.

Ver en Medium.com

Datlas_Blog_Promo_SuscriberFree

El pase de diapositivas requiere JavaScript.

Una organización, con o sin fines de lucro, va creciendo de manera orgánica conforme las necesidades van rebasando a los puestos. Al principio un par de personas gestionan el negocio, pero conforme va creciendo la operación es necesario buscar ampliar el capital humano. Después viene el tema de no tener personal ocioso y optimizar equipos y personas. Ya al final viene los puestos de innovación, que muchos lo ven como pirotecnia. Sin ofender a nadie, me refiero a que hay áreas que no impulsan directamente a la operación ya que su valor agregado va más dirigido a la báscula de ventajas competitivas.

En resumen, concédenos generalizar el proceso de la siguiente manera:

1.Nace la organización > 2.Crece en una sola gestión > 3.Se multiplica en distintas áreas >> 4.  Se optimiza constantemente >> 5. Innova en apuestas a ser disruptiv@

¿Dónde entran los Data Scientist (DS) ? ¿A qué horas me transformo con datos?

La mayoría de las organizaciones hacen estas inversiones en el paso 5) ¿Cuál es el reto? Cuando la cultura de innovación en la empresa no está 100% socializada y la ciencia de datos es un área que con muchos celos demanda atención, gobernanza y autoridad para sacarle valor a un activo de la compañía,(los datos) y reflejar la voluntad de entender que “Los datos no pertenecen  a ningún área o dirección, son de la compañía“.

¿Estoy listo para transformar mi organización con DS?

La primera evaluación es hacia tu organización ya que para implementar esta innovación tiene que lograrse esta cultura de innovación al mismo tiempo del timing tecnológico correcto. Es decir

  1. Si no estás listo para abandonar los excel-es que llevas operando y mejorando toda la vida. No contrates un DS
  2. Si te da miedo transferir procesos y responsabilidades a “cajas negras” que no vas a entender. No contrates un DS
  3. Si eres de los líderes que les gusta decir cómo resolver el problema, en lugar de ceder el problema y la resolución del mismo a tu equipo. No contrates un DS
  4. No entiendes los beneficios de la ciencia de datos o el potencial de tu información. No contrates un DS, terminarás concluyendo que “no sirve” sólo porque no supiste sacarle valor
  5. Y por último, si quieres un DS para que se la pase extrayendo datos y datos, mejorando tableros y visualizaciones. No contrates DS, ambos se frustarán por sólo estar dando la mitad de todo el potencial

(Tomado de inspiración B) citado al final del blog). El trade-off es claro, hay que evaluar.

Mucha crítica ….¿Y qué consejos son mejores prácticas para lograr transformar?

Como cualquier caso en una organización, tienes que tener algunas historias de éxito para convencer a los tomadores de decisiones que vale la pena hacer la apuesta. La mayoría de los casos comienzan contratando consultorías y empresas externas para aprender cómo funciona este mundo.

  1. Vete a lo seguro. Analiza a tus clientes, toma decisiones comerciales como cambios de precios, planes promocionales, marketing y mide resultados KPIs.
  2. Evalúa distintas consultorías que sobre todo tengan capacidad y voluntad de “enseñarle” a tu organización cómo funciona.
  3. Invita a distintos roles a que te acompañen en el proceso.
  4. Genera la historia, “socializala” (Que todos se enteren) y  mapea nuevas posibilidades para datos
  5. Finalmente evalúa repetir el proceso hasta que la organización pueda ceder recursos para interiorizar las capacidades. Aún así la mayoría de las organizaciones que orquestan un área de datos interna contratan y subcontratan. Así es , hasta el mismo Google, IBM, Microsoft o startups como UBER, AIRBNB, CABIFY , entre otras distribuyen el trabajo ya que retener a científicos de datos en una organización es complicado por la demanda actual que existe. Además exigen un alto grado de especialización que puede capitalizar una consultoría porque el análisis de datos es su negocio principal que no pueden descuidar.

No olvides leer nuestro blog de “Los 5 perfiles para una estrategia de datos en tu empresa”

Datlas_Promo_Facebook_Suscribe

Para el cierre ¿En qué áreas donde agrega valor un científico de datos?

Cerramos con un par de infografías que mapean las áreas de mayor valor agregado para un científico de datos. Recomendamos leer y generar un plan para implementar los “quick-hits” de mayor impacto.

El pase de diapositivas requiere JavaScript.

Hasta aqui la parte uno de la columna de Datlas más enfocados en la cultura de innovación y datos antes de arrancar sin un plan. En la siguiente parte comentaremos de algunas herramientas que pueden ayudar a iniciar experimentaciones de big data sin tener que hacer la “gran inversión”.

Gracias por leer, estamos abiertos a opiniones y buscamos difundir este tema en organizaciones que están batallando mucho para iniciar a experimentar con datos. Siempre contarán con empresas y startups como Datlas para acompañarlos en su desarrollo.

Inspirado gracias a la lectura de:

Datlas_Promo_Podcast_Suscribe

Ver en Medium.com

Los 5 perfiles para una estrategia de Datos en la EMPRESA – Datlas research

En los últimos años fuera del ambiente corporativo se ha hablado de innovar de manera ágil y de cómo hay que adaptarse a las modernidades tecnológicas por miedo a no quedarse atrás. Dentro de estas tendencias, entre las más asociadas a una buena toma de decisiones, se  ha hablado de Analytics, Big Data e Inteligencia Artificial.

Y no es que las empresas nunca hayan visto con utilidad un buen análisis de sus negocios o una investigación de mercados. Antiguamente, hace 30 o 50 años, los numéricos se concentraban en los equipos de finanzas y contabilidad. Y con la información a su alcance, recordemos que no había Google ni internet, calculaban oportunidades de mercado y tomaban decisiones de negocio.

OrganigramID 32377103 © Shawn Hempel | Dreamstime.com Business
Organigram ID 32377103 © Shawn Hempel |

Ahora con el internet y la información al alcance de cualquier corporativo este ejercicio se ha hecho mucho más fácil y replicable. Lo que demanda un nuevo tipo de organización para responder a las necesidades de información de una empresa. No podemos manejar la misma estructura de hace 40 años. En un entorno tan cambiante hay que adaptarse lo más rápido posible ¿Cómo lograrlo? La respuesta es reinventando parte de la organización, con nuevos perfiles y equipos.

Datlas_barra_suscribir

 

Estos son los 5 perfiles para echar a andar una estrategia de datos en tu compañía:

1) Jefe Analista de negocio: Es responsable de atender a las áreas de negocio en sus necesidades de información y de la creación de nuevos proyectos de aprovechamiento de datos en la compañía. Es versátil en sus capacidades de análisis y comunicación hacia la empresa. También tiene una parte didáctica para entrenar y capacitar equipos sobre cómo aprovechar de mejor manera las bases de datos del negocio.

Datlas_analistadedatos

2) Arquitecto de datos: Es un experto conocedor de las estructuras de bases de datos del negocio y de cómo es la mejor manera de que se relacionen y se consulten. Es el principal contacto cuando de contratar capacidades externas se trata.

Datlas_Arquitectodedatos

3) Ingeniero de datos: Encargado de dimensionar y anticiparse a las necesidades de almacenamiento y seguridad para los datos de la compañía. Prepara e integra los datos relevantes para que estén listos para ser consultados. Está en contacto constante con ciberseguridad de la compañía y con los equipos financieros encargados de presupuestar la capacidad a futuro de almacenamiento para las iniciativas de información de los siguientes años.

Datlas_IngenierodeDatos

 

4) Director / Gerente de analítica: Es un conocedor de las necesidades del negocio, tiene exhibición a foros especializados donde se hablan de problemas y oportunidades del modelo de negocio actual y es el principal punto de contacto con otras gerencias y áreas para proponer mejoras. Gestiona a su vez con áreas de legal y monitorea los procesos ágiles de desarrollo en sus equipos. Finalmente cesiona la gobernanza y acceso a la información.

Datlas_ChiefDataofficer

5) Chief Data Officer: justo debajo del CEO y al nivel de las otras direcciones. Un error común es comenzar a verlo dentro de las estructuras de Marketing o de Tecnología. Lo que sesga su accionar y evita que esté en los foros de mayor relevancia para la empresa. Guía a nivel estratégico y mediático las intenciones futuras de aplicar inteligencia artificial y big data a los modelos actuales de la compañía.

Datlas_DJPATIL_maxresdefault.jpg

 

Datlas_barra_suscribir

Para una correcta ejecución de la estrategia de datos, además de contar con estos perfiles, hay que habilitar una estructura organizacional en donde convivan los procesos de innovación y transformación digital a nivel interno en la compañía. Un ejemplo que propone Harvard (HBR) es el siguiente:

Datlas_R1510G_PORTER_ANEWORGANIZATIONAL.png

Hasta aqui la columna de hoy ¿ Tu empresa ya está lista para una estrategia de datos? ¿Será tu proyecto de 2018?

Dejanos cualquier duda o comentario. ¿Cómo funciona actualmente en tu empresa?

 

Keep it weird

Equipo Datlas