Archivo de la categoría: big data

🤖No se aprende “Big Data” en un curso de 2 horas, pero tampoco ocupas un doctorado – Compartimos 3 DO’s and DONT’s para identificar el conocimiento de calidad en analítica

La transformación digital llegó a boca y mente de casi todas las organizaciones en este 2019 (algunas desde antes).  Frases como: “No hay que quedarnos atrás” ; “No queremos ser el blockbuster”, “AIRBNB está compitiendo a los hoteles  y no tienen como defenderse” ; etc.  se esuchaban en los “radiopasillos” de la mayoría de las empresas de LATAM y, más de cerca, en México.

Datlas_DigitalTransformation

El caballo de batalla en esta transformación afortunadamente (lo digo para startups como Datlas) ha sido la analítica. Se han contratado consultores de lo más sofisticado. Un dineral invertido en sistemas como lago de datos y licencias de software. Prácticamente armamos un “Ferrari”. Pero… y ¿Quién los va a conducir?  Y hemos visto en la industria errores TERRIBLES en esta ejecución. En esta columna hablaremos de los DO’s and DONT’s de implementar analítica y Big Data en las organizaciones. Sobre todo el tema de cómo aprenderlo.

“Yo considero que empecé a aprender (Big data) sin saberlo en mis primeras clases de estadística, pero no sabía que eso en el futuro iba a ser Big Data”

“(…)No necesitas 2 doctorados para ya hacer algo valioso”

-Anónimos, científicos de datos-

Datlas_barra_suscribir

CONTEXTO

También te va a interesar leer estos blogs ….

Ya hemos hablado en estos blogs sobre los perfiles, metodologías y ejemplos pero quisimos complementar con toda la sección de cómo identificar un buen aprendizaje de Big Data. Y algunas observaciones en el otro polo, el cómo SI aprender

DONT’s

  • No se aprende en un curso de 2 horas. Hoy en día prolifera en internet la oferta de cursos y aprendizajes de Big Data , pero no hay que olvidar que esta materia tiene bastantes fundamentos estadísticos de trasfondo. Recomendamos leer libros sencillos como NAKED STATISTICS donde por $10 dllrs podrás incrementar la comprensión estadística tuya o de tu equipo.

 

  • Un Data Scientist no es un experto en todos los dominios de la ciencia de datos. La analítica avanzada requiere de la convivencia entre múltiples áreas de conocimiento desde un ingeniero de datos hasta un analista de negocio. Una parte del valor agregado, sin duda un valor cada vez más incremental, viene del data scientist. Sin embargo si quieres fundamentar una buena estrategia requieres cubrir múltiples ángulos de esta actividad apropiadamente.

 

  • No requieres un doctorado. Big data es una ciencia relativamente nueva y es muy constante la cantidad de publicaciones como lo cita CMINDS. Como cualquier nueva ciencia, deporte o instrumento. Uno se siente atraído por esas espectaculares formas de meter “goles” o “canastas”. También por la manera de que “tal” artista toca una canción y tu la quieres replicar. En el campo de ciencia de datos los de nuevo ingreso comenzamos queriendo hacer lo más complejo. Poco a poco eso te lleva a mapear las áreas donde quieres especializarte. Alguien con doctorado ya está especializado en un área, y eso ayuda.. sin embargo un buen encargado de analítica puede figurar mientras continúa desarrollando su conocimiento.

Datlas_barra_suscribir

DO’s

  • Se aprende colaborativamente.  Las mejores estrategias de analítica como las de BBVA o UBER funcionan de manera colaborativa. Es decir evitan el “compro un software de millones de dólares para que una o dos personas lo manejen”. De manera más natural hay un ambiente de trabajo donde todos tienen hambre de compartir su trabajo y, con la correcta documentación, el nivel general va subiendo de nivel poco a poco.

 

  • Enseña y explica , basta de cajas negras. La ciencia de datos es muy especializada, sin embargo no pueden existir más cajas negras. Como lo platicamos en “Por qué no necesitas un data scientist en tu organización” , un analista deberá ser capaz de explicar de manera sencilla su trabajo. Dejar de lado los complejos términos estadísticos y ser más “ameno” en sus capacidades de comunicación.

 

  • Contribuye a la comunidad. Existen comunidades como Data Science & Engineering Monterrey en las que generadores de datos y analítica comparten sus hallazgos y conocimientos.  Si descubres algo que valga la pena , únete a alguno de estos círculos virtuosos para que crezca la comunidad.

Hasta aqui el blog de hoy. Para cerrar nos gustaría puntualizar en los distintos roles dentro de un equipo de datos y algunas de las plataformas en las que se requieren especializar. Si le quieres entrar y avanzar al mundo de los dato “hay tarea” y por aqui algunas rutas de cómo empezar.

Datlas_Netmind_BigData_Analisis

Danos tu opinión sobre cómo has aprendido de datos, analítica y cómo has compartido todo esto que has aprendido.

Equipo Datlas

– Keep it weird –

 

 

 

Anuncios

¿Big data en mi organización? Cómo puedo empezar – Datlas Research

Hemos tenido oportunidad de estar presentes en algunos de los foros y conferencias más destacados del país en cuanto a transformación digital se trata. Una de las preguntas qué más frecuentemente nos hacen cuando empezamos a entrarle a todos los conceptos de analíticos es ¿Cómo se empieza esto del big data? En esta columna daremos una guía resumida de cómo iniciar una estrategia de datos así como compartir algunas de las mejores herramientas para volver realidad big data en tu organización.

Datlas_barra_suscribir

Este es un blog para avanzados, si quieres familiarizarte antes con algunos conceptos puedes profundizar un poco más consultando nuestro DATA PLAYBOOK Gratuito.

¿Cómo aprovechar el Big Data? Dentro de las muchas definiciones nos centraremos en la que considera aprovechar la mayor cantidad de puntos de generación de información a los que tiene acceso tu organización. El primer paso lógico identificar la oportunidad para tu organización “mapeando” los datos a los que se le pudiera extraer más valor.  Puedes leer los ejemplos en  “Almanaque Datlas ¿Cómo convertir datos en dinero?” .

El pase de diapositivas requiere JavaScript.

Ideación para Big Data. Como cualquier fase en las estrategias de transformación digital, lo sugerido es integrar a los tomadores de decisiones y líderes de influencia en tu organización en talleres de ideación. Esto te servirá para integrar la visión estratégica de distintas áreas en tu estrategia de big data, ir gestionando el cambio cultural de manera más natural y enlistar los proyectos que más sentido le hagan a diversas áreas.

El pase de diapositivas requiere JavaScript.

Monetiza los resultados.  En algún momento tendrán que priorizar los recursos de la organización, obtener presupuestos y echar andar en los mejores calendarios algunos pilotos de propuestas.

Datlas_barra_suscribir

Durante toda la conversación es conveniente iniciar con KPIs (metas medibles claras) y alinear todas las decisiones durante los pilotos hacia estos objetivos. Siempre cuidando que estos KPIs puedan ser monetizables. Puedes leer también 15 métricas para tu PYME

El pase de diapositivas requiere JavaScript.

Selecciona a los perfiles adecuados. Hemos hablado mucho en nuestras conferencias sobre la relevancia de identificar las habilidades que requieren los retos que hayas mapeado en la organización. Un “skillset” o set de habilitades habitual para los retos de data science integran, pero no se limitan a: Computación, matemáticas, lógica, modelos predictivos, investigación, comunicación y aprendizaje computacional avanzado. Puedes leer también  5 perfiles para una estrategia de datos.

El pase de diapositivas requiere JavaScript.

Monitorea, ejecuta y repite. Una vez que ejecutes los pilotos. Decide dónde profundizar y genera actividades más recurrentes que vengan acompañados de metodologías. En cada iteración hay que buscar la mejora continua y la especialización. Puedes leer ¿Por qué no necesitas un data scientist?

El pase de diapositivas requiere JavaScript.

Hasta aqui la columna de hoy, si conoces a alguien que esté liderando una transformación digital y estrategias de analítica en su organización compárte este blog. También, no olvides consultar nuestro DATA PLAYBOOK Gratuito.

Saludos y gracias por leer.

Datlas

-Keep it weird.

Por qué no necesitas un Data Scientist (es Clickbait) en tu organización Parte 1 – Datlas News

Data scientist la carrera “más sexy” del 2018. Los científicos de datos son los mejores pagados.  Los datos son el petróleo del futuro. Habrá un déficit de 400k especialistas de big data para 2020. Si no estás avanzando con un equipo que desarrolle Inteligencia Artificial vas a quebrar.

¿Les suena conocido? No he dejado de escuchar en cada conferencia de empresarios que nos toca asistir aseveraciones de tal calibre. Justamente queremos hacer la reflexión sobre este tema en esta columna. Y que no cunda el pánico, no es una discusión de 1-0 o blanco y negro. Pero sí hace falta balancear el diálogo de si tu empresa necesita un especialista en datos o no. Iniciamos.

View at Medium.com

Datlas_barra_suscribir

El pase de diapositivas requiere JavaScript.

Una organización, con o sin fines de lucro, va creciendo de manera orgánica conforme las necesidades van rebasando a los puestos. Al principio un par de personas gestionan el negocio, pero conforme va creciendo la operación es necesario buscar ampliar el capital humano. Después viene el tema de no tener personal ocioso y optimizar equipos y personas. Ya al final viene los puestos de innovación, que muchos lo ven como pirotecnia. Sin ofender a nadie, me refiero a que hay áreas que no impulsan directamente a la operación ya que su valor agregado va más dirigido a la báscula de ventajas competitivas.

En resumen, concédenos generalizar el proceso de la siguiente manera:

1.Nace la organización > 2.Crece en una sola gestión > 3.Se multiplica en distintas áreas >> 4.  Se optimiza constantemente >> 5. Innova en apuestas a ser disruptiv@

¿Dónde entran los Data Scientist (DS) ? ¿A qué horas me transformo con datos?

La mayoría de las organizaciones hacen estas inversiones en el paso 5) ¿Cuál es el reto? Cuando la cultura de innovación en la empresa no está 100% socializada y la ciencia de datos es un área que con muchos celos demanda atención, gobernanza y autoridad para sacarle valor a un activo de la compañía,(los datos) y reflejar la voluntad de entender que “Los datos no pertenecen  a ningún área o dirección, son de la compañía“.

¿Estoy listo para transformar mi organización con DS?

La primera evaluación es hacia tu organización ya que para implementar esta innovación tiene que lograrse esta cultura de innovación al mismo tiempo del timing tecnológico correcto. Es decir

  1. Si no estás listo para abandonar los excel-es que llevas operando y mejorando toda la vida. No contrates un DS
  2. Si te da miedo transferir procesos y responsabilidades a “cajas negras” que no vas a entender. No contrates un DS
  3. Si eres de los líderes que les gusta decir cómo resolver el problema, en lugar de ceder el problema y la resolución del mismo a tu equipo. No contrates un DS
  4. No entiendes los beneficios de la ciencia de datos o el potencial de tu información. No contrates un DS, terminarás concluyendo que “no sirve” sólo porque no supiste sacarle valor
  5. Y por último, si quieres un DS para que se la pase extrayendo datos y datos, mejorando tableros y visualizaciones. No contrates DS, ambos se frustarán por sólo estar dando la mitad de todo el potencial

(Tomado de inspiración B) citado al final del blog). El trade-off es claro, hay que evaluar.

Mucha crítica ….¿Y qué consejos son mejores prácticas para lograr transformar?

Como cualquier caso en una organización, tienes que tener algunas historias de éxito para convencer a los tomadores de decisiones que vale la pena hacer la apuesta. La mayoría de los casos comienzan contratando consultorías y empresas externas para aprender cómo funciona este mundo.

  1. Vete a lo seguro. Analiza a tus clientes, toma decisiones comerciales como cambios de precios, planes promocionales, marketing y mide resultados KPIs.
  2. Evalúa distintas consultorías que sobre todo tengan capacidad y voluntad de “enseñarle” a tu organización cómo funciona.
  3. Invita a distintos roles a que te acompañen en el proceso.
  4. Genera la historia, “socializala” (Que todos se enteren) y  mapea nuevas posibilidades para datos
  5. Finalmente evalúa repetir el proceso hasta que la organización pueda ceder recursos para interiorizar las capacidades. Aún así la mayoría de las organizaciones que orquestan un área de datos interna contratan y subcontratan. Así es , hasta el mismo Google, IBM, Microsoft o startups como UBER, AIRBNB, CABIFY , entre otras distribuyen el trabajo ya que retener a científicos de datos en una organización es complicado por la demanda actual que existe. Además exigen un alto grado de especialización que puede capitalizar una consultoría porque el análisis de datos es su negocio principal que no pueden descuidar.

No olvides leer nuestro blog de “Los 5 perfiles para una estrategia de datos en tu empresa”

Para el cierre ¿En qué áreas donde agrega valor un científico de datos?

Cerramos con un par de infografías que mapean las áreas de mayor valor agregado para un científico de datos. Recomendamos leer y generar un plan para implementar los “quick-hits” de mayor impacto.

El pase de diapositivas requiere JavaScript.

Hasta aqui la parte uno de la columna de Datlas más enfocados en la cultura de innovación y datos antes de arrancar sin un plan. En la siguiente parte comentaremos de algunas herramientas que pueden ayudar a iniciar experimentaciones de big data sin tener que hacer la “gran inversión”.

Gracias por leer, estamos abiertos a opiniones y buscamos difundir este tema en organizaciones que están batallando mucho para iniciar a experimentar con datos. Siempre contarán con empresas y startups como Datlas para acompañarlos en su desarrollo.

Inspirado gracias a la lectura de:

View at Medium.com

AIRBNB, el nuevo negocio inmobiliario de los Regios – DATLAS RESEARCH

Monterrey Nuevo León es una de las ciudades potencias en México. Al contar con un gran número de empresas de manufactureras, de las principales que cotizan en la bolsa, universidades importantes, economía estable y gozar de una conveniente posición geográfica (en cercanía a EE. UU.). Por esta coyuntura, Monterrey atrae a diversas personas que vienen por negocios, de turistas por la cantidad de eventos que hay en la ciudad, a visitar familiares, entre otros motivos. Acompañado de esta situación viene la necesidad de estancia y hospedaje en la ciudad. Nuevas alternativas como AIRBNB comienzan a competir a los hoteles desde hace más de 2 años y hoy están en una etapa de madurez donde verdaderamente son “rivales” de los hoteles. En esta columna compartiremos algunos datos de contexto y recomendaciones sobre la plataforma AIRBNB en la ciudad de Monterrey.

(También puedes ver AIRBNB EN CDMX ¿Amenaza o bondad? )

Datlas_barra_suscribir

Hoy en día algunos hoteles pueden llegar a ser muy costosos y mucha gente tiene un presupuesto limitado o simplemente no desean pagar esas cantidades, una buena opción que hoy en día se está utilizando, y mucho, son las plataformas en línea de hospedaje. Por ejemplo, Airbnb. Estos últimos pueden llegar a ser hasta 60% más económicos que un hotel. Muy deseables para quienes desean ahorrar y,  dependiendo de la zona, encontraremos buena cobertura en los principales puntos de interés con diferentes precios y diferentes características del lugar de residencia (amenidades).

Datlas_AIRBNB_MONTERREY

En Monterrey y su Zona Metropolitana hay un total de 2816 Airbnb. Los precios de los mismo varían dependiendo de la zona de interés de hospedaje, el tipo de alojamiento y la cantidad de huéspedes principalmente. Existen tres tipos de alojamientos: un apartamento o casa completa, un cuarto privado y un cuarto compartido.

Entre los limitados datos que logramos recabar sobre los Airbnb en Monterrey enumeramos los siguientes hallazgos:

  1. “En lo que corresponde a Monterrey y su Zona Metropolitana hay aproximadamente 11 Airbnb por cada kilómetro cuadrado, siendo San Pedro el municipio con el mayor numero de Airbnb por km2, pero Monterrey es en donde más Airbnb hay.”

2) “La distribución de tipos de cuartos es casi equitativa en cuanto a un apartamento o casa completa a un cuarto privado, pero en cuanto a un cuarto compartido el porcentaje es más bajo.”

3) “A un precio promedio de $810 MXN por noche por persona si todas las propiedades de Airbnb en Monterrey y su Zona Metropolitana se usaran al mismo tiempo, se estaría generando $2.28 millones MXN por día.”

Datlas_barra_suscribir

Conclusiones

“Los Airbnbs” y plataformas digitales de turismo han tomado fuerza y continuarán capturando más valor en corto plazo.  Para no quedarse atrás en esta transformación digital compañías hoteleras así como otros miembros del gremio en el sector turismo deberán de monitorear más de cerca la oferta de los Airbnb. Resolviendo constantemente ¿Qué es lo que la hace atractiva? ¿Cuáles son los puntos de precio? y ¿Cuáles son las temporalidades más relevantes? , entre otras preguntas que pudieran apoyar su toma de decisiones. Nuevas estrategias en los sectores “tradicionales” de turismo podrán ser modeladas con más y mejor información del mercado.

Datlas_AIRBNB_Monterrey_point

En Datlas estamos trabajando para complementar y mejorar nuestro sistema de monitoreo en el sector turismo. Este año haremos nuevos lanzamientos y buscamos empresas que quieran sumarse el piloto. Contáctanos direccion@datlas.mx

Hasta aqui la columna de hoy,  te invitamos a compartir la nota con tus socios y amigos usuarios de AIRBNB en MTY. 

Equipo Datlas

Keep it weird

 

 

 

3 reflexiones de GREAT HACK (Nada es Privado) de NETFLIX – DATLAS RADAR

#CambridgeAnalytica #Ciberética

#Privacy #Privacidad #PrivacidadDeDatos

#Hack #GreatHack

Son más o menos los #hastags (menciones) que de estar presentes en un título en un video de youtube o un blog puede garantizarte muchas vistas en el 2019.  Pero ¿Qué pasa si una inversión seria respalda un documental que narre los hechos a detalle de un “hackeo”? Este es el caso del nuevo documental de Netflix “The Great Hack” o “Nada es Privado”.  En esta columna te compartiremos algunas de nuestras impresiones de la película. Pero antes de eso, te recomendamos ver este trailer

El tema central de la serie es la explotación de datos personales y cómo la comunidad de internet empieza a generar reclamaciones sobre el uso de los datos. Toda esta conversación surge a partir del escándalo de Cambridge Analytica donde se usaron datos personales de Facebook para impulsar campañas como la de Donald Trump y Brexit.

Datlas_barra_suscribir

En opinión personal,  es un documental producido muy al estilo Netflix. Bastante profesional en sus tomas, entrevistas e investigación. Durante la grabación tuvieron acercamiento con jugadores claves del escándalo ya citado así como los principales impulsores de movimientos de privacidad de datos.  Por otro lado, el filme se percibe a veces fatalista, castigando sin piedad el uso de datos y dejando pocas propuestas en la mesa. Más que una opinión balanceada, lo mejor es que cada quien genere su propia opinión. Lo que sí es verdad es que como lo hemos citado en otros blogs, la conversación de ética y uso de datos en el internet tiene que seguir creciendo.

Aquí dejamos nuestras 3 aportaciones considerando los temas vistos en esta la película:

Datlas_NadaEsPrivado_GreatHack_Netflix_2

1) Al entrar y aceptar los términos de privacidad en una red o app social ¿Quién es dueño de nuestros datos? – Parecería que dejamos de serlo

Datlas_NadaEsPrivado_GreatHack_Netflix_3

2) La conversación de privacidad de datos está polarizada porque sabemos que nos puede generar beneficios como humanidad, pero al mismo tiempo podría ser un “arma militar” (citando la película) de manipulación de masas

Datlas_NadaEsPrivado_GreatHack_Netflix_4

3) Hay pocas propuestas en la mesa, pero muchos culpables

Y la conclusión justo es en torno a este último punto. El documental hace muy buen trabajo de análisis, lo que es suficiente para generar una conversación sobre privacidad de datos. Pero lo que está claro es que la balanza del diálogo gira más en torno a buscar culpables más que encontrar soluciones.

Datlas_barra_suscribir

Falta más trabajo de filósofos, sociólogos y “tecnólogos” para que en colaboración se generen nuevas propuestas de soluciones. Será otro caso como “¿Usamos combustibles fósiles a pesar de que sabemos que le hace daño al mundo, pero es lo que impulsa nuestra economía?” o “¿Consumimos con animales y acabamos con bosques porque lo justificamos estando arriba de la pirámide alimenticia?”.  El nuevo dilema ¿Explotamos los datos personales porque podemos resolver problemas más personalizados, a pesar de que esto pudiera servir para manipular masas? … o algo así.

Hasta aqui la columna de hoy, invitamos a la comunidad a observar este documental y generar su propia opinión. También compartir esta columna si creen que le puede interesar a algun@s de sus colegas.

Saludos

Equipo Datlas

– Keep it weird-

AIRBNB en CDMX ¿Amenaza o bondad? Un análisis para sector turismo – Datlas Research

Vamos de visita a la capital del país, CDMX, los hoteles en mi zona favorita de Reforma, cerca del ángel de la independencia o Condesa están saturados. No te quieres quedar en un hostal, de manera que recurres al servicio del que has escuchado mucho: AIRBNB. Un sitio donde puedes reservar alojamientos auspiciado por personas y no por cadenas hoteleras o empresas. Esto quiere decir que habilitan un cuarto o propiedad sin mucha burocracia y usando sólo internet.  Hoy en día las empresas del sector turismo (mayormente hoteles tradicionales) consideran a AIRBNB una de sus mayores amenazas y es momento de dejar de hablar con el instinto para dimensionar la situación. Desde Datlas, nos dimos la tarea de analizar las propiedades listadas en AIRBNB en CDMX para compartirles algunas recomendaciones al sector.

(También puedes ver: AIRBNB, el nuevo negocio inmobiliario para Monterrey)

Datlas_barra_suscribir

Los datos

Conseguir este tipo de información no es nada sencillo, estamos hablando de que AIRBNB cataloga más de 100 variables para una ubicación. Pero logramos obtener en algunas recopilaciones poco más de 19,000 propiedades para CDMX a julio de 2019.

Metodología

Una vez que obtienes los datos, no es posible usarlos “directamente”. Hay que hacer un par de transformaciones para que las bases estén “limpias”, compartan la misma estructura y sean interpretables en un “lenguaje” que podamos entender fácilmente. Por ejemplo, las coordenadas son útiles para mapear, pero como lectores entendemos mucho mejor si hablamos por delegaciones (municipios) cuando hablamos de CDMX. En ese sentido hicimos el trabajo de “georeferenciar” e identificar en qué delegación es cada cada una de las ubicaciones. A continuación la documentación de esta labor.

Datlas_barra_suscribir

Análisis y 5 hallazgos

Además de datos de ubicación, contamos con descriptivos de AIRBNB. Si alguna vez has utilizado la plataforma te podrás dar cuenta que un alojamiento tiene datos de precios, descripciones, cantidad de cuartos,baños, cajones de estacionamientos, comentarios de visitantes pasados, ratings, entre otros más . Tomando esto en cuenta iniciemos con los descriptivos.

1. “Existen 19 propiedades de AIRBNB por cada kilómetro cuadrado en CDMX”

El pase de diapositivas requiere JavaScript.

2. Más de la mitad de oferta de AIRBNB son apartamentos. Existen ya hoteles y hostales que se enlistan en AIRBNB para ofrecer sus servicios a los viajeros

El pase de diapositivas requiere JavaScript.

3. A un precio promedio por noche de $886 MXN por persona si todas estas propiedades fueran usadas al mismo tiempo sumarían $21.6M de ingresos al día

El pase de diapositivas requiere JavaScript.

4. La oferta de cuartos está balanceada, entre cuartos privados y alojamientos enteros reservados. Siendo los de menor proporción los cuartos compartidos

Datlas_Slide10_BlogAIRBNB

5.  Frecuencia de menciones en amenidades “relevantes” ofrecidos en alojamientos

Datlas_Slide12_BlogAIRBNB

Cierre

Las compañías hoteleras y oficinas de turismo deberían monitorear más de cerca información como esta información. En su transformación digital deberían considerar a qué puntos de precio competir, en qué cobertura y las amenidades que más valoran los usuarios de este tipo de servicios.

Si te interesa conocer más información como esta que te ayude a mejorar tus estrategias de negocio, usar temporalmente el mapa de AIRBNB CDMX o te interesa trabajar con analytics en tu organización puedes buscarnos en ventas@datlas.mx

 

Dejamos la documentación final para que puedas revisarla más a detalle si te interesa:

Saludos y recuerda compartir este blog para que más gente pueda conocer como transformar datos en decisiones con Datlas.

-Equipo Datlas-

Keep it weird

 

Asi detectas unas cheves con tensorflow – Datlas research

“Alexa, pasame una Heineken”. Una instrucción sencilla para una persona, una tarea compleja para una computadora. Esta tarea puede dividirse en subtareas, siendo una de ellas la detección de objetos. Esta es una tecnología relacionada con la visión artificial que busca identificar los objetos semánticos en una imagen. En esta columna compartiremos el proceso que pasamos al realizar un sistema de identificación de cervezas.

En nuestro proyecto de identificación de cervezas contamos con aproximadamente 2500 fotos de cervezas, pudiendo ser un refrigerador lleno o una sola cerveza en la foto. En estas fotos, tuvimos que seleccionar las zonas en las que había una cerveza y asignarle un nombre (el nombre de la cerveza y si era lata, botella o caguama) para poder clasificarlos. Esto se llevó a cabo con LabelImg, cuyo output era un XML con las posiciones y el nombre.

Posterior a esto, seleccionamos el modelo a implementar. Decidimos utlizar Tensorflow con el modelo desarrollado por Nick Bourdakos, Custom-Object-Detection. El primer paso para hacer funcionar este modelo fue generar el TFRecord, el archivo con el que se entrena el modelo. Para esto, los XML no nos servían, ya que requiere un archivo CSV. Usamos la librería de Python Pandas para hacer esta conversión. Luego definimos el label map para que cada nombre tuviera un número que lo identificara. Todo esto lo pasamos por el script para generar los TFRecords, y nuestros datos estaban listos para entrenar el modelo.

Datlas_barra_suscribir

Comenzamos a entrenar el modelo, y nos dimos cuenta que era muy lento, ya que lo estabamos entrenando con nuestras laptops. Para optimizar esto cambiamos a entrenar en Google Colab. Aquí puedes entrenar tu modelo utilizando tarjetas gráficas, aprovechando su capacidad de procesamiento al máximo. Pero encontramos un problema, los archivos eran muy pesados para estar descargandolos cada vez. La solución: subir los archivos a Google Drive, e instalar una biblioteca en Colab para poder traer los archivos de Drive.

Aquí comenzamos la etapa de pruebas con el modelo. Esperábamos un happy path, pero no fue el caso, Encontramos problemas como que la letra era muy pequeña y no se podía leer, o que detectaba un rollo de papel como una cerveza. Este último se debía a que redujimos la confianza para tomar una predicción al 30%. Ambos fueron obstáculos superados.

Para finalizar, se desarrolló el cliente con el cual el usuario podría emplear esto. Se creó una REST API en Django, una aplicación en React Native, y se hicieron llamadas para que la foto tomada por el celular regresara con la respuesta. En este punto sólo se llevó a cabo un cambio, el poner números en las clasificaciones para que no se amontonaran, y presentar el nombre y el porcentaje de confianza de la predicción.

Aqui cierra el blog de hoy. La presencia de esta tecnología puede crear un cambio en el cómo funcionan las cosas. Futuras implementaciones de este tipo de acciones en tiendas serán de utilidad para hacer conteos, inventarios, identificar repisas vacías y/o recibir notificaciones cuando se acabe un producto. Si te gustó la columna te pedimos la compartas y nos dejes tus comentarios

Saludos

(Esta columna fue desarrollada por Jose Luis alias “Ali,” participante en nuestro programa de interns de verano)

Equipo Datlas

-Keep it weird-

 

¿Y en qué quedó el CoDi (Cobro digital) de BANXICO? – Datlas research

(En Datlas, startup de analítica Mexicana e impulsores del movimiento de big data mexicano, estamos  interesados en el CODI por la generación de datos que esta iniciativa va a promover. Un nuevo recurso abundante se aproxima ¿Cómo le haremos frente?)

Imagínate que vas camino a la tienda de la esquina y al momento de pagar te das cuenta de que no llevas contigo tu cartera o imagina que estás de vacaciones, es momento de pagar la cuenta en un restaurante, pero al abrir tu cartera notas que no tienes efectivo. Te imaginas evitar pasar todos estos eventos que te provocan perder tiempo, pasar vergüenza, etc. Actualmente se está desarrollando una tecnología en México que te podrá ayudar con eso, y su nombre es CoDi. En esta columna te platicamos un poco de qué es y cómo van los avances según la información pública.

Datlas_barra_suscribir.png

CoDi es una plataforma de pago fintech, propuesta y en proceso de desarrollo por el Banco de México, en la cual se podrá realizar y solicitar pagos en los procesos de compra-venta de bienes y en los procesos de pagos de servicios, de una manera rápida, eficaz, segura y sin tener que llevar consigo una tarjeta o efectivo.

Datlas_example_CODI.png

El proceso de uso requiere de un código QR, el cual el vendedor deberá proporcionar ya se por una impresión o por una foto digital, el cual el comprador deberá escanear, despues de esto al comprador se le haría llegar un mensaje donde se solicitará aceptación para realizar el pago.

Datlas_Sample_CODI

¿Es novedad Mexicana?

En países como China, están dejando de lado el uso de efectivo y de tarjetas, y han optado por usar métodos de pagos iguales a Codi. Alipay y WeChat Pay son de los servicios que ofrecen este método de pago. Compañías como Apple y Samsung han puesto al alcance de sus usuarios un método de pago llamado NFC el cual estará enlazado con la tarjeta del usuario, pero este método no requiere de un código QR, aquí con solo acercar el teléfono a la terminal automáticamente se realizará el pago sin que el usuario tenga que sacar su cartera o cargar con ella, pero esta tecnología solo sirve en ciertos países y no todos los comercios cuentan con la facilidad de usar este método.

Datlas_AliPay_Sample.png

¿En México? ¿Cómo vamos?

Hoy en día CoDi está en fase de prueba, pero según Banxico, la plataforma estará habilitada a partir del cuarto trimestre de 2019. Solo algunos bancos tienen acceso a lo que se le puede llamar prueba piloto y se estima que para julio o agosto se iniciara una segunda etapa de prueba con algunos usuarios.

La lista de beneficios los cuales traería consigo CoDi es amplia:

  • Evitar el cargar con efectivo y/o la cartera.
  • Transacciones rápidas, eficientes y seguras.
  • Una mayor inclusión hacia todos los comercios tanto tiendas grandes como tiendas pequeñas como la de la esquina.
  • Crea y fomenta la competencia para que nuevos métodos de pagos sean creados con el fin de mejorar el servicio y beneficiar tanto al comprador como al cliente.
  • Al ser pagos electrónicos se evita la corrupción y se motiva más a la transparencia.
  • Podrás disponer de lo que este en tu cuenta de banco.

Datlas_foto_BANXICO_Comofunciona.png
Imagen obtenida del sitio web de BANXICO: http://www.banxico.org.mx/sistemas-de-pago/codi-cobro-digital-banco-me.html

En conclusión, se puede decir que la implementación de CoDi es un gran avance para México, el dejar de disponer siempre de cargar con efectivo, haciendo que dejemos de ser tan vulnerables a los asaltos en la calle podría ayudar a crear una sociedad más segura y además CoDi ayudaría a comercios pequeños a entrar en la evolución sin tener que gastar tanto. Estos métodos de pagos son un gran salto a la evolución de la economía en el país, y más aun cuando países  como China, Japón, EE. UU., etc., ya usan esta tecnología y funciona de una gran forma.

Datlas_barra_suscribir

Hasta aqui la columna de hoy. Te agradecemos leernos y si te gustó comparte. Pronto comenzaremos una etapa que podría ser un inicio de “cash-less” society o sociedad sin dinero en efectivo.

 

Equipo Datlas

(Desarrollado por José Romo parte de nuestro programa de intern de verano)

-Keep it weird-

 

Fuentes y otras referencias de datos:

IMC 2019: El nacimiento de la comunidad más grande de tecnología en México

Como emprendedores y, a la vez, amantes de la tecnología nos mantenemos atentos a los mejores eventos acerca de estos temas alrededor del mundo y, sobre todo, en nuestro natal México. Para nuestra sorpresa, hace un par de meses comenzamos a escuchar de un evento y una organización que desconocíamos: Inteligencia México Conference 2019 (IMC 2019) y enseguida nos dimos a la tarea de investigar al respecto y, por supuesto, de asistir. Para nuestra sorpresa, ha sido uno de los mejores eventos de los que hemos tenido oportunidad de presenciar en territorio nacional y en esta columna vamos a contarte por que.

Iniciemos con un poco de contexto, ¿Qué es Inteligencia México?, ¿Cómo nace? Y para explicarlo no hay nada mejor que las palabras de uno de sus fundadores, Alexandre Surman (izquierda en la foto)

datlas_imc2019_alexander_surman

a quien nuestro equipo tuvo la oportunidad de entrevistar. Ante esta primera preguntar Alexander comentó:

“… básicamente en agosto del año pasado (2018) nos sentamos con expertos de la industria del IoT (internet of things = internet de las cosas), del big data y la inteligencia artificial, y nos dimos cuenta que había mucha conversación alrededor de estos temas, pero que eran pocas las empresas que realmente estaban implementando este tipo de tecnologías, si bien habían comenzado los esfuerzos de adopción en 2015-2016 aún estaban en pañales. Fue ahí donde descubrimos la oportunidad y el interés de ayudar a México a posicionarse como un país que adopta estas nuevas tecnologías. El reto era que cada proveedor de estas tecnologías hacía su propio evento y su propio esfuerzo de evangelización, pero su alcance era muy local. Por lo tanto, continuar en ese camino nos habría tomado quizá más tiempo en poder tener el alcance deseado. Es ahí, cuando decidimos crear esta comunidad, Inteligencia México (IMx), para unir todos estos esfuerzos de evangelización porque entendemos que la unión hace la fuerza…”

Ahora bien, Inteligencia México es la comunidad, el organizador, pero ¿qué es IMC 2019? Alexander nos explica:

“…una vez creada la comunidad, antes de desplegar un montón de actividades que tenemos planeadas dijimos la mejor forma de iniciar es con un congreso, para que se materialice el concepto de IMx.  Por ello se realiza Inteligencia México Conference 2019, el primer congreso que a partir de ahora se volverá anual…”

datlas_imc2019_pano_santds.JPG

IMC 2019 se llevó a cabo el pasado 19 y 20 de junio de 2019 con sede en el centro Citibanamex de la Ciudad de México. Este primer congreso, de IMx, logró juntar, bajo el mismo techo, a los principales y más grandes proveedores de soluciones de IoT, big data e I.A., así como a grandes conferencistas y expositores de talla internacional, compartiendo escenario con nuestros grandes ejemplares mexicanos.

Una de las claves para la gran experiencia que vivimos como asistentes fue la app del evento, desarrollada por Bizzabo. Dentro de la aplicación no solo tenías tu acceso y la agenda del evento, sino que podías generar tu agenda personalizada con las ponencias de tu interés y recibir notificaciones push de recordatorio. Asimismo, otra de las maravillas de la app era la oportunidad de entrar a un foro comunitario que te daba la libertad de comunicarte (obviamente dentro de la app) con más de 967 asistentes dentro de los que destacaban presidentes, CEOs y directivos de empresas nacionales e internacionales. En nuestro caso tuvimos la oportunidad de platicar con el presidente de una empresa de analítica de datos con oficinas en Estados Unidos, pero con un equipo completo de científicos de datos en la India (de hecho, el nos buscó a nosotros jeje).

Ahora bien, las ventajas no eran solo para asistentes, de hecho otra de las grandes sorpresas para nosotros fue ver que cada empresa de las que estaba exhibiendo sus soluciones (en los stands) tenía un scanner con el que registraba el código QR que llevabas en tu gafete de acceso (claramente te pedían permiso antes de hacerlo) para obtener tus datos de contacto y enviarte información si es que mostrabas interés en alguna de sus soluciones o incluso para generar alianzas o conversaciones posteriores. Esto es una gran ventaja para justificar la inversión al momento de decidir asistir como exhibidor a un foro como este.

Por otro lado, regresando al tema de la experiencia como asistentes, nos sorprendió ver que cada uno de los 4 escenarios alternativos (con excepción del escenario principal) tenía una dinámica de inmersión que implicaba ponerte unos audífonos para escuchar la conferencia, en lugar de utilizar las típicas bocinas o altavoces para inundar de sonido todo el recinto. Esto daba una sensación mucho más comprometida con la ponencia que estabas escuchando.

datlas_imc2019_audifonos

Y como no todo en la vida es trabajo, no todo en estos eventos son conferencias. Un detalle más que hizo de la experiencia algo especial fue el hecho de que el acceso que teníamos incluía la comida. Pero más allá de que la comida estuvo buena, el hecho de hacerse cargo de ese rubro ayudo no solo a optimizar los tiempos de organización y despliegue del evento, sino que nos dio una oportunidad más, en un contexto quizá más informal, de convivir no solo con otros asistentes sino con los mismos conferencistas. Y permítanme insistir en este último punto, en la mayoría de los eventos a los que asistimos los conferencistas llegan, dan su platica y se van. Este es el primer foro en donde nos percatamos que no solo se quedan unos minutos o unas horas después de su ponencia, sino hasta el final del evento. Nosotros tuvimos la oportunidad de platicar con Rahul Vijay (Head of Global Connectivity de Uber) quien dio la conferencia de apertura durante la comida del segundo día. Este es otro detalle que distingue y hace sobre salir la experiencia en este evento.

datlas_imc2019_uber

A pesar de haber sido uno de los mejores eventos a los que hemos ido, también observamos algunas áreas de oportunidad que resaltamos con la esperanza de que ayuden a mejorar:

  • El foro comunitario de la app te presenta los perfiles de la gente para contactarlos personalmente vía inbox, pero no te deja enviar un mensaje a la comunidad entera (entendemos que evita el tema de spam), quizá sería buena opción
  • Los audífonos son gran detalle, pero hay que cuidar dos cosas: la calidad del audio (porque fue significativamente menor a la de las bocinas o altavoces convencionales) y el tema de higiene, porque son tantas conferencias, tantos asistentes y un horario tan estricto que andar compartiendo audífonos puede ser algo incomodo.
  • Mayor involucramiento con startups/scaleups. Entendemos que el foro comprometía un cierto nivel de experiencia, expertise y profesionalismo que no toda startup mexicana tiene. Pero existen grandes historias de éxito, fuera de las apadrinadas por grandes fondos, que encontrarían grandes ventajas y serían de gran inspiración para este ecosistema que intenta despertar consciencia de los esfuerzos mexicanos por la adopción de estas tecnologías.

El pase de diapositivas requiere JavaScript.

Finalmente, no podíamos dejarlos sin el resto de la entrevista a Alexandre, donde nos cuenta un poco más acerca de lo que viene para Inteligencia México:

P: Alexandre, uno de los grandes patrocinadores y partners de este evento es Sigfox, una empresa francesa, ustedes mismos (los fundadores) son franceses, cuéntanos ¿cómo termina siendo México su ecosistema?

R: “…Christian, Phillippe (mi hermano) y yo somos franceses, pero tenemos más de 17 años en México de hecho, nuestros hijos son mexicanos, nacieron aquí entonces somos franceses, pero con una piel mexicana. Nosotros llegamos aquí muy jóvenes con oportunidades de emprender y hacer negocios, la idea era venir un par de años, pero 17 años después henos aquí, porque nos gusta México, nos gusta el país, nos recibió con los brazos abiertos y es por ello que queremos aportar valor a México…”

 P: Alexandre, entendemos que este es el kick-off para IMx, ¿qué sigue hacía adelante?

R: “… a partir del lunes (24 de junio 2019) comenzamos a planear la conferencia del próximo año (IMC 2020) porque han nacido muchas iniciativas, se están queriendo sumar muchos actores y eso es bueno, entonces vamos a preparar la siguiente edición desde ya. Pero de aquí a 2020 no nos vamos a desconectar del gremio, de la comunidad, tenemos pensado crear toda una gama de actividades como, por ejemplo: misiones dentro de las principales ciudades del país; crear webinars; forjar alianzas con universidades extranjeras como: MIT, Standford, Harvard, otras de China e Israel para que nos puedan compartir conocimiento y que podamos aprovecharlo en México y compartirles nosotros también; tenemos pensado crear una bolsa de trabajo muy especializada para el talento requerido y tan escaso y difícil de encontrar como lo son los data scientists, por ejemplo; queremos crear capacitaciones y certificaciones también; crear comités por verticales, para que el próximo año estemos en IMC 2020 hablando de la vertical de salud, por ejemplo, y haya contenido más encausado hacia esa vertical… vamos a lanzar una plataforma independiente para que la comunidad se cree ahí, se vayan registrando, tengan acceso a la biblioteca digital, a los diferentes programas y actividades que vamos a tener…”

P: Finalmente, Alexandre, como emprendedores de tecnología, emprendedores regios, nos interesa seguir en contacto, seguir colaborando, apoyando, entonces ¿cómo podrían los demás emprendedores como nosotros, ser parte de IMx?

 R: “…mira, la visión que tenemos es ser la comunidad de las comunidades. Con la energía y recursos que tenemos queremos sumar a todas las comunidades y proyectos, que son muchos, pero manteniendo la calidad. Por ello habrá que priorizar y realizar esfuerzos que realmente traigan eficiencias para México… de momento pueden inscribirse en la página de Facebook, en linked in, pueden agregarme incluso a mi o a Christian o Philippe para que estén al tanto y pronto integrarse a nuestra plataforma Inteligencia México… porque juntos hacemos crecer México”

Sin más, los invitamos a nuestras redes sociales para que nos cuenten si tuvieron oportunidad de asistir, si se quedaron con las ganas y/o si piensan asistir al IMC 2020 porque nosotros definitivamente ¡estaremos ahí!

@DatlasMX

 

-Keep it weird-

Facebook abre Datos para México (De los legales) – Datlas Research

Recientemente en algunos medios,principalmente científicos y prensa especializada de tecnología, se habló de que los datos que facebook hizo públicos. Esta vez siendo un tema que va más allá de un “hack” o el caso “Cambridge”. Más bien, una empresa que en pro del desarrollo de tecnología más humanitaria estaba generando iniciativas para mejorar la información con la que como humanidad tomamos decisiones.

datlas_barra_suscribir

El pase de diapositivas requiere JavaScript.

Esta es la visión del centro de Data for Good de Facebook, la famosa red social con más de 2 mil millones de usuarios activos. De acuerdo al referente de este centro, Molly Jackman (FB Public Policy)  “Al analizar imágenes satelitales existentes y usando Inteligencia artificial los equipos de Facebook lograron crear los mapas de densidad poblacional más granulares a la fecha”-

Liga de video: https://www.facebook.com/watch/?v=1143199219065401

¡Muéstrame los mapas!

Sin más preámbulo ¿Qué podemos encontrar para México y en dónde?

La fuente que recomendamos es la siguiente: https://data.humdata.org/dataset/mexico-high-resolution-population-density-maps-demographic-estimates

En el contenido encontrarás archivos en CSV que pueden ser leídos con excel, R o python (los últimos 2 open-source) y también geoTiff que inicialmente sugerimos explorar con QGIS (También open-source o GRATUITO). La verdad el geoTIFF es el bueno para visualizar. Pero, esto depende del gusto del analista de datos.

datlas_barra_suscribir

Iniciamos  buscando las imágenes de alta resolución y entrando al menú con una oferta de más de 14 archivos para México.  Para fines de este ejemplo usaremos los datos de “mujeres en etapa reproductiva” (la razón por la que Facebook decidió hacer este tipo de cortes con inteligencia artificial es porque busca detectar poblaciones donde los datos puedan generar impactos claves, para mayor explicación ver el vídeo)

El pase de diapositivas requiere JavaScript.

Excelente, ahora decidimos usar el geoTIFF de estos archivos y con un par de filtros en la paleta de colores de los puntos mapeados tendremos resultados como los siguientes:

Este tipo de información podría servirle a un gobierno, organizaciones sociales y operativos de rescate a mapear poblaciones elementales para iniciativas de salud. Por ejemplo hay casos documentados para algunos paises de África donde, a falta de censo oportunos, este tipo de información ha logrado segmentar las iniciativas de desarrollo económico en zonas de mayor impacto. Por otro lado con un ángulo más comercial, como el que tenemos por vocación en Datlas, empresas de higiénicos y medicamentos enfocados a este “clúster” de población pueden ser mejor ubicados con el aprovechamiento de estos datos.

Otro ejemplo es el de la base de datos de niños menores de 5 años.  Donde con datos de facebook podemos mapear a las poblaciones más vulnerables del del país. Aunque a simple vista se ven como puntos sin sentido en un mapa, si en un sistema GIS das zoom, cada punto está muy bien detallado a qué manzana o AGEB pertenece.

Datlas_Mexico_DatosFB10

Esto en caso de una catástrofe natural nos ayudaría a leer dónde está un grupo vulnerable qué atender con prioridad. Y bueno además del ojo social, desde un ángulo de observatorio comercial, una empresa de pañales podría capitalizar estos datos para generar estrategias de expansión o elasticidad de precios.

A opinión personal, nos gustaría ver en el futuro mapas de migrantes o distintas nacionalidades que residen en el país. Esto podría sensibilizar y ser propulsor de nuevas políticas públicas enfocadas en el contexto de fragilidad que actualmente hay en el mundo por estos temas de migración.

datlas_barra_suscribir

En Datlas continuamos incrementando nuestro acervo de base de datos para aprovechar en nuestros sistemas de información.  Contamos con más de 10,000 bases de datos analizadas para entregar los mejores datos en nuestra plataforma web www.datlas.mx

Déjanos tu opinión de cómo piensas que estos datos podrían ser bien aprovechados y qué cuidado debemos tener al tratar con esta información. Si te gusto la columna te pedimos compartirla en tus redes sociales.

Saludos

-Keep it weird-

Equipo Datlas