Archivo de la etiqueta: KAGGLE

Dimensionando la industria de “Analítica de datos e Inteligencia Artificial” – Datlas Research

¿Cuántas empresas de analítica de datos existen? ¿En qué industrias están participando? ¿Quién está desarrollando Inteligencia Artificial? Hoy hablaremos del mapa de mercado desarrollado por “Firstmark”  (@matttruck). Desde Datlas, startup mexicana de analytics, dedicamos esta columna a profundizando en el dimensionamiento y la clasificación de la industria completa de analítica de datos e inteligencia artificial.

Mapa completo de industria al 2019

2019_Matt_Turck_Big_Data_Landscape_Final_Datlas
Descarga aqui: https://cloudup.com/ck5aIRPKNuU

Según el reporte podemos encontrar 7 industrias y 82 sub-industrias para la industria de “datos” (Analítica, big data e inteligencia artificial).  Ahora haremos un pequeño enfoque a cada una.

1) Infraestructura

Abrir una empresa de analítica de datos y de tecnología hace 20 años tenía como 80% del presupuesto dedicado a infraestructura. Comprar potentes procesadores y sobre todo capacidad de almacenaje físico. Sin embargo, en los últimos 10 años ha ido en incremento los oferentes de poder de cómputo distribuido y almacenaje por nube.

1_Infrastructure_Panorama_Datlas

2) Analítica y Machine Learning(ML)

¿Tableau? ¿Power BI? ¿Watson? la mayoría de sus servicios corporativos pertenecen a la vertical de la subindustria de analítica y ML.  En estas plataformas es posible encontrar soluciones para convertir datos en algoritmos o visualizaciones y así mismo en ventajas comparativas para una empresa.

2_Analytics_ML_Panorama_Datlas

3) Aplicaciones con enfoque a empresa

Hay otro segmento de soluciones prediseñadas donde participan las tecnologías de analítica de nicho. Soluciones para gobierno, industria inmobiliaria o financiera son alguno de los ejemplos de empresas que han generado soluciones tan específicas como para atender un nicho. Estas startups buscan como estrategia ser tan importante en la industria que se acerque algun gigante como IBM, Microsoft o Palantir para adquirir su participación en la industria.

3_Aplicaciones_Empresa_Panorama_Datlas

4) Analítica de infraestructura cruzada

Son compañías que desarrollan diversas plataformas suficientemente robustas como para adaptarse a distintas industrias. En su mayoría podemos entender estos desarrollo como empresas que buscan generar ecosistemas más que productos o servicios.

4_Infraestructura_Cruzada_Analytics_Panorama_Datlas

**Si te interesa conocer más de analítica de datos y Big data te invitamos a solicitar GRATIS el DATA PLAYBOOK Vol. II de DATLAS. Solicítalo aqui. **

Datlas_Playbook_prelaunch

5) Open source – Fuentes abiertas

Hay otro segmento de compañías, organizaciones y desarrolladores independientes que son fieles creyentes del “open source”. Esto hace referencia a los aplicativos que son gratuitos y mejorados por la comunidad que los utiliza. Aunque pareciera que no hay incentivos, casos de éxito como R, Hadoop o Linux , que son Open-source, son impulsores de cambios y mejoras en las industrias de manera significativa.

5_OpenSource_Panorama_Datlas

6) Fuentes de Datos y APIs

Los modelos de analítica y Big data requieren datos listos para ser consumidos. Es decir limpios, estructurados y actualizados. En este sentido hay una serie de empresas de fuentes de datos que se han encargado de desarrollar APIs o carreteras directas a fuentes de datos de valor.  Este es el caso, sobre todo, de aplicaciones móviles que recopilan datos de usuarios y como modelo de negocio comercializan esos datos.

6_RecursosdeDatos_Apis_Panorama_Datlas

Si quieres conocer más de este tema te puede interesar ¿Cómo funciona Location intelligence? el blog donde explicamos este tema a detalle

7) Más recursos de datos

Finalmente otros recursos de datos como las escuelas, incubadoras, centros de investigación o plataformas de retos de datos como Kaggle. Sin restarle importancia (Consideremos que Google ha adquirido un par de estas empresas), continua el incremento y las empresas que quieren ganar nombre desde verticales más tradicionales como consultoría, educación o desarrollo de patentes/algoritmos propietarios.

7_RecursosDatos_Panorama_Datlas

¿Qué opinas del tamaño de la industria? ¿Te imaginabas? Hasta aqui la columna de hoy si te gustó el contenido recuerda compartir y aprovecha nuestros descuentos en el MARKETPLACE DE DATLAS.

***BONUS 8 de Enero 2020*** CB Insights libera un reporte de Tendencias en Inteligencia Artificial donde estructuran las iniciativas de “Alphabet”. Parece que ellos están entendiendo como ir capturando la industria desde distintas empresas.

Alphabet_CB_Insights_KEY_AI_Initiatives_Google

 

Equipo Datlas

-Keep it weird-

 

 

 

 

¿Por qué pueden fracasar los proyectos de Ciencia de datos?

Según estadísticas de Kaggle, entre el 70 y 85% de los proyectos de ciencia de datos fallan en alguna rubrica a la hora de ser implementados. En esta columna dedicaremos un espacio para analizar sobre las principales razones de fracaso en proyectos de analíticas. Esto lo haremos utilizando una encuesta a más de 16,000 participantes de la industria de “data science”.

Como preámbulo, es justo entender en esta lectura porqué estos proyectos nacen de manera inherente con problemas de dimensionamientos en tiempo, recursos y esfuerzos.  Como cualquier iniciativa de tecnologías, los proyectos de información son complejos. Entre más grande la organización más difícil se vuelve integrar una visión estratégica a problemas de datos. Aún en compañías pequeñas y medianas nos vamos a enfrentar al retador mundo de la estadística y cómo usar técnicas matemáticas adecuadas para sacarle valor a los datos de mi negocio. Esto sin mencionar que en cualquiera de los casos hay que hacer una venta interna sobre lo que probablemente será una “caja negra” . Todo esto se traduce en resistencias internas en la organización, plantear proyectos sobre fundamentos que no se conocen al 100% , entre otros.

También puedes leer: “No se aprende “Big Data” en un curso de 2 horas, pero tampoco requieres un doctorado” .Datlas_barra_suscribir

Con este importante contexto , vamos a tener la óptica de que en proyectos de analítica de datos es muy probable que nos enfrentes a algunos de estos obstáculos (mencionados como respuestas de la encuesta).

El pase de diapositivas requiere JavaScript.

Problemas de Colaboración-Organización

En una compañía , este tipo de proyectos involucra a 3 áreas: negocios, TI y analítica (si existe el área, en su defecto sería TI o similar). Las encuestas muestran que existe principalmente faltas de comunicación.  Esto principalmente viene de que cada área tiene sus especialistas, a los que les gusta hablar su propio lenguaje. También que no necesariamente se le informa al negocio la manera en que se está resolviendo el problema.

Datos

En general las compañías y organizaciones tienen datos gracias a los sistemas que han implementado durante la última década. El problema es que esta información no está lista para consumir. Al menos el 30% de los que respondieron la encuesta identificaron la falta de datos como un reto. Lo más común es que el proyecto se estime sin considerar los tiempos reservados a la limpieza e integración de datos con los que se va a trabajar.

Talento

Los especialistas en datos están muy demandados y dentro de las organizaciones han optado por capacitar a su personal interno para resolver estos retos de analítica. Sin embargo, esto ha traído consigo falta de método y de respuestas precisas a los retos de negocio. En la encuesta mencionan el 42% de los retos son asignados a la obtención de talento. También puedes leer “5 perfiles para una estrategia de datos en tu organización”.  La necesidad de desarrollar  e incorporar equipos con experiencia en el área de analítica que puedan planear proyectos con mayor probabilidad de éxito cuidando los temas de fracaso común como los mencionados en la encuesta.

Herramientas y Presupuesto

Resolver nuevos retos de big data algunas veces requiere de nueva infraestructura.  Entre mayor sea la cantidad de datos y las áreas de la compañía a atender se van a requerir herramientas más sofisticadas y presupuestos.  Algunas de ellas las mencionamos en nuestro “Data Playbook”. Pero como aclaramos en la charla del INCMTY 2019,  las tecnología es relevante pero no es lo más importante. El presupuesto primeramente debe ir dirigido a la cultura y personas que estarán revisando los temas, más que a la tecnología. Al final las personas indicadas harán el mejor uso de los recursos que se le asignen a los proyectos.

3_Datlas_Piramide_Porquefracasan_proyectosdeDatos

Cierre

Termina la columna de hoy con la recomendación que la “planeación de escenarios” nos puede ser de utilidad en proyectos de big data. Esto significa que si ya sabemos las posibilidades de enfrentarnos a estos retos deberíamos de prepararnos dando por hecho que estos obstáculos que hemos nombrado aparecerán en el curso del proyecto. Siendo así podríamos generar nuestro propio “checklist” para verificar que contamos con todo lo necesario para echar a andar alguna iniciativa de datos y sobre todo los compromisos de negocio que vienen acompañados de las mismas.

Datlas_barra_suscribir

Esperamos te haya gustado la columna y comparte tus comentarios así como precauciones que tomas en proyectos de datos. Te invitamos además a participar en nuestra lista de prelanzamiento para el “Data Playbook Vol II”.

Equipo Datlas

Keep it weird