jueves, 30 de octubre de 2014

Analizar evolución de precios de Lego con Splunk

Este verano empecé a utilizar Splunk como herramienta para analizar datos poco estructurados, como era la creación de empresas en España. La verdad es que originalmente Splunk era una herramienta para analizar logs de servidores, pero ha ido evolucionando hasta posicionarse como una herramienta capaz de analizar todo tipo de datos, especialmente capaz de organizar estos datos en el tiempo y facilitar la búsqueda de correlaciones.

Como hace tiempo que también estoy registrando los precios de ciertos kits de Lego en Amazon - con la intención de buscar el momento idóneo para comprarlos - pensé que podría ser buena idea utilizar Splunk para analizar estos datos.

El proceso es relativamente sencillo cuando se dispone de datos estructurados en base de datos. Como no dispongo de los conectores directos a base de datos, se exportan los datos en un fichero CSV y se importan a Splunk. A partir de ahí se puede empezar a analizar.

Evolución del precio del kit 7939 - Tren de Mercancías

Este es un primer resultado de un análisis del kit 7939 - Tren de Mercancías:
Lego price evolution at Amazon

Como es un kit que ya está descatalogado (Lego ha sacado este año nuevas versiones de los kits de trenes con otras referencias), hay menor disponibilidad, y por tanto, una subida de precio. Sin embargo hay oscilaciones, y se puede percibir que en los últimos meses, aunque el precio medio oscila, el máximo es relativamente estable en los 250 EUR y el mínimo, bastante estable en los 180 EUR. Este dato es bastante interesante, porque refleja una variabilidad de casi un 40%, que se produce desde que el kit se descatalogó. Anteriormente se percibía una ligera tendencia a incrementar el precio, con muy poca variabilidad.

Los datos que estoy analizando son de Amazon.es  , o sea de España. Será interesante correlacionar estos datos con los de Amazon.com (USA) o los de Amazon.uk. Y tal vez compararlos con otras fuentes, como la Lego Shop o BrickLink. En este caso, el reto es cómo conseguir acceso a la fuente de datos, de una forma automática, porque se trata de recoger series largas.

Efectos de eventos en los precios

Tengo interés en comprobar el comportamiento en la Semana de Acción de Gracias - los famosos Black Friday y Cyber Monday - y ver si afectan y cómo a los precios de Amazon en España. También ver si hay una bajada previa a la campaña de Navidad.

Por cierto, tengo una página donde puedes comprar kits de Lego de oferta (con precio rebajado sobre precio de lista).

Si aún no conoces Splunk y quieres probarlo, publiqué un post donde se explica cómo instalar Splunk y cargar tus primeros datos, y otro donde se explica cómo analizar datos con Splunk.

Si tienes una fuente de datos de precios de Lego, por favor, compártela, y te haré llegar los resultados.
Si utilizas Splunk u otra herramienta similar de análisis de datos, estás invitado a comentarlo.

domingo, 26 de octubre de 2014

Cursos gratuitos en Big Data University

Existen todo tipo de recursos en la red para aprender big data sin tener que gastar dinero, ya sea a través de MOOC o a través de las ofertas de los fabricantes de soluciones, como SAS, Lavastorm, IBM, etc. Un problema con los MOOC es que en muchos casos tienen el plazo de inscripción cerrado. He encontrado, a través de una recomendación de mi mujer, que está poniéndose al día con este tema, una iniciativa esponsorizada por IBM, la Big Data University.

Curriculum de Big Data University

La Big Data University ofrece un curriculum que empieza por lo más básico y permite aprender sobre bigdata siguiendo 3 ramas:
Fuente: IBM Developerworks


sábado, 18 de octubre de 2014

Empresas creadas en septiembre de 2014

Ya está disponible la lista de empresas creadas en septiembre de 2014 en España. Esta lista se entrega en forma de fichero en formato CSV ('comma-separated values'. que se puede importar directamente a un hoja de cálculo, a una base de datos o a un sistema CRM como Zoho) con fecha de publicación en el borme, número de borme, razón social, fecha de constitución, descripción de la actividad, dirección postal y código de provincia, de 6.144 empresas de toda España, incluyendo 1.405 de la provincia de Madrid y 791 de la provincia de Barcelona.

Descargar el fichero con la lista de empresas creadas en septiembre

Para conseguir la lista de nuevas empresas tienes que registrarte en la lista de correo, que puedes encontrar a la derecha. Los usuarios suscritos a la lista de correo reciben un correo mensual con el enlace para poder descargarse el fichero con la lista de empresas del mes. Además en el correo se incluye un resumen de las entradas publicadas en este blog desde el mensaje anterior.

Consultar online las empresas creadas en España en 2014

Si no quieres registrarte en la lista de correo, tienes la posibilidad de consultar online la base de datos de empresas creadas en España, a través del Buscador móvil de empresas. Los campos mostrados son el número de registro del BORME y la fecha de constitución,  la razón social de la empresa, la descripción de la actividad, y la dirección, en forma de hiperenlace, que nos lleva a Google Maps:


La aplicación está pensada para utilizarse en smartphones y tablets, de forma que nos ayude a planificar una visita o un itinerario visitando varios clientes. También puede utilizarse en un ordenador, ya que está escrita en HTML5, sólo necesitas un navegador para poder utilizarla.

Si utilizas la aplicación, y se te ocurre alguna sugerencia para mejorarla, no dudes en enviarme tus comentarios, ya sea por correo o a través del blog.