Analizar evolución de precios de Lego con Splunk

Este verano empecé a utilizar Splunk como herramienta para analizar datos poco estructurados, como era la creación de empresas en España. La verdad es que originalmente Splunk era una herramienta para analizar logs de servidores, pero ha ido evolucionando hasta posicionarse como una herramienta capaz de analizar todo tipo de datos, especialmente capaz de organizar estos datos en el tiempo y facilitar la búsqueda de correlaciones.

Como hace tiempo que también estoy registrando los precios de ciertos kits de Lego en Amazon - con la intención de buscar el momento idóneo para comprarlos - pensé que podría ser buena idea utilizar Splunk para analizar estos datos.

El proceso es relativamente sencillo cuando se dispone de datos estructurados en base de datos. Como no dispongo de los conectores directos a base de datos, se exportan los datos en un fichero CSV y se importan a Splunk. A partir de ahí se puede empezar a analizar.

Evolución del precio del kit 7939 - Tren de Mercancías

Este es un primer resultado de un análisis del kit 7939 - Tren de Mercancías:

Como es un kit que ya está descatalogado (Lego ha sacado este año nuevas versiones de los kits de trenes con otras referencias), hay menor disponibilidad, y por tanto, una subida de precio. Sin embargo hay oscilaciones, y se puede percibir que en los últimos meses, aunque el precio medio oscila, el máximo es relativamente estable en los 250 EUR y el mínimo, bastante estable en los 180 EUR. Este dato es bastante interesante, porque refleja una variabilidad de casi un 40%, que se produce desde que el kit se descatalogó. Anteriormente se percibía una ligera tendencia a incrementar el precio, con muy poca variabilidad.

Los datos que estoy analizando son de Amazon.es  , o sea de España. Será interesante correlacionar estos datos con los de Amazon.com (USA) o los de Amazon.uk. Y tal vez compararlos con otras fuentes, como la Lego Shop o BrickLink. En este caso, el reto es cómo conseguir acceso a la fuente de datos, de una forma automática, porque se trata de recoger series largas.

Efectos de eventos en los precios

Tengo interés en comprobar el comportamiento en la Semana de Acción de Gracias - los famosos Black Friday y Cyber Monday - y ver si afectan y cómo a los precios de Amazon en España. También ver si hay una bajada previa a la campaña de Navidad.

Por cierto, tengo una página donde puedes comprar kits de Lego de oferta (con precio rebajado sobre precio de lista).

Si aún no conoces Splunk y quieres probarlo, publiqué un post donde se explica cómo instalar Splunk y cargar tus primeros datos, y otro donde se explica cómo analizar datos con Splunk.

Si tienes una fuente de datos de precios de Lego, por favor, compártela, y te haré llegar los resultados.
Si utilizas Splunk u otra herramienta similar de análisis de datos, estás invitado a comentarlo.

Visualizar datos de Splunk con Google Maps

Una de las características más interesantes de Splunk es la posibilidad de instalar módulos, o Apps en terminología Splunk. Estos módulos están desarrollados por terceros y amplían las funcionalidades de Splunk.

Entre los módulos más interesantes, he seleccionado el que permite visualizar datos de Splunk utilizando Google Maps.

Este módulo está desarrollado por Siegfried Puchbauer, con una licencia Creative Commons BY-NC-SA.

Analizando datos con Splunk

Una vez instalado Splunk, y cargado el fichero CSV con los datos de creación de empresas del mes de mayo, podemos empezar a analizar resultados, utilizando la función de búsqueda:.

Una búsqueda por "construcci*" nos da 1852 resultados, y pulsando sobre una de las categorizaciones sugeridas, 'codprov', obtenemos las provincias donde se han creado más constructoras:

Estas provincias son, de mayor a menor: Barcelona, Madrid, Málaga, Alicante, Sevilla y Baleares

Instalando Splunk en Windows XP

Como comentaba el otro día, estoy explorando aplicaciones de BigData utilizando Splunk.Para instalar Splunk, basta ir a la página web y buscar la descarga, está disponible para múltiples sistemas operativos, desde Windows Vista a Solaris, pasando por Linux y OS X. Aunque entre los sistemas operativos Windows que soporta no figura Windows XP, se puede elegir el paquete de Windows de 32-bit e instalar  través del fichero MSI:

Explorando Big Data con Splunk

Si trabajas en infraestructuras de informática, probablemente utilizas o has oído hablar de Splunk, una aplicación que analiza los ficheros log para detectar eventos, encontrar patrones, disparar alarmas y descubrir tendencias. Pero el uso de Splunk puede ir mucho más allá de analizar los logs de los servidores,y utilizarse como una herramienta para explorar Big Data.Incluso hay un producto llamado Hunk que enlaza Splunk con la herramienta de Big Data más popular, Hadoop, con el fin de facilitar el análisis de los datos.