Antecedentes

"""Quiero una aplicación que permita hacer clic en un botón y me muestre las tedencias comerciales de un sitio de comercio electrónico...""" Liliana Calderón.

Proyecto enmarcado en el grupo de investigación en tecnologías de la información.

Estado del arte

Marco teórico

¿Que es comercio electrónico?

¿Que es una tendencia?

¿Que es una aplicación Web?

¿Que es una API?

¿Que es Web Scraping?

¿Que es un Crawler?

Problema

¿Ha podido observar tendencias comerciales con respecto a los productos que usualmente compra?

¿Cómo determinar de forma automática las tendencias comerciales que surgen en sitios de comercio electrónico con presencia en Colombia?

• No hay evidencias de software similar desarrollado.
• ¿Pueden como usuarios de tiendas virtuales percibir tendencias comerciales?
• Tal vez se hagan identificación de tendencias de forma manual.

Objetivos específicos

Establecer el esquema básico de funcionamiento de cuatro (4) sitios Web de comercio electrónico con presencia en Colombia.

Implementar un repositorio dinámico que almacene patrones comerciales con base en el esquema de funcionamiento de los sitios Web seleccionados.

Implementar un algoritmo de inspección y registro estadístico que se apoye en los datos registrados en el repositorio que permita determinar las tendencias comerciales en los sitios de comercio electrónico seleccionados.

Implementar una interfaz Web que permita visualizar las tendencias comerciales.

Justificación

Una aplicación Web (crawler + GUI).

Automatización en la identificación de tendencias.

Será una aplicación de referencia.

Marco legal

Derechos de autor en soportes lógicos.

Creative Commons 4.0 Internacional: Atribución, No Comercial, Compartir Igual.

AGPL 3.0.

Web Scraping.

Método de la investigación

Fases para la implementación del proyecto

Muestra de tiendas electrónicas

Criterios de selección

Técnicas de extracción

Mínimos Cuadrados.

Herramientas

Ubuntu Server 14.04 de 64 bits

PostgreSQL Server 9.3

MongoDB 2.4.9

Supervisor 3.0

Python 2.7.6

Django 1.7.1

Gunicorn 19.1.1

Nginx 1.4.6

Gunicorn 19.1.1

Scrapy/Numpy/Scipy

Resultados

Esquema de consulta Mercado Libre

https://api.mercadolibre.com

Esquema de consulta Mercado Libre

Esquema de consulta Mercado Libre

Esquema de consulta eBay

http://svcs.ebay.com/services/search/FindingService/v1

Esquema de consulta eBay

Esquema de consulta eBay

Esquema de consulta Amazon

http://webservices.amazon.com/onca/xm

Esquema de consulta Amazon

Esquema de consulta Amazon

Esquema de consulta Linio

http://www.linio.com.co/tecnologia/telefonos

Esquema de consulta Linio

http://www.linio.com.co/slug-del-product

Repositorio de datos

Repositorio de datos

Interfaz de Listados

Interfaz de Estadísticas

Interfaz de Administración

Interfaz de Administración

Relación de modelos

Código fuente y despliegue

http://172.245.180.180:8000/

https://github.com/jorlugaqui/stella

Distribución de categorías

Aplicación

Nube de categorías 23-01-2015

Nube de categorías 24-01-2015

Relevancia 24-01-2015

Nube de categorías 25-01-2015

Nube de categorías 26-01-2015

Proyección de precios

Proyección de ventas

Proyección de inventario

Tendencias

Tendencias - Precios

Tendencias - Ventas

Tendencias - Inventario

Tendencias - Precios - Comparación

Tendencias - Ventas - Comparación

Tendencias - Inventario - Comparación

Recomendaciones

Instalar la aplicación en un servidor GNU/Linux, de preferencia Debian (https://www.debian.org/) o Ubuntu (http://www.ubuntu.com/), con una RAM mínima de 2 GB y un disco duro mínimo de 15 GB, con uno o más procesadores por encima de los 1.2 GHz y un ancho de banda mínimo de 512MB mensuales.

Programar las tareas de recolección de datos por un periodo superior a 10 días y no mayor a 30, de modo que el método de los mínimos cuadrados tenga suficiente lecturas sobre las cuales pueda operar y a su vez no se genere tráfico innecesario en el sitio objetivo.

Preferiblemente agregar sitios Web que cuenten con APIs de consulta.

Implementar un script de extracción por cada nuevo sitio agregado.

Subir al repositorio del proyecto (https://github.com/jorlugaqui/stella) las mejoras que el lector haya implementado.

Trabajos futuros

Agregar contexto al tiempo de lecturas.

Establecer notificaciones por categorías.

Agregar más plataformas de comercio electrónico.

Aplicar más métodos estadísticos a las lecturas obtenidas.

Mejoras en la capa de presentación.

Volver totalmente administrable la agregación de plataformas.

Contacto con las plataformas agregadas.

Conclusiones

Es posible hacer seguimiento de productos de forma automática desde tiendas electrónicas, pero este seguimiento está sujeto a variables como: términos de uso de los sitios Web, herramientas de consulta que ofrezca la tienda y calidad de publicación de ofertas a nivel DOM/HTML.

Cada plataforma de comercio electrónico tiene una estructura de funcionamiento distinta, que se ve reflejada en la forma como publican sus ofertas, tanto a nivel de HTML como a nivel de sus respectivas APIs.

Las plataformas de comercio electrónico eBay, Amazon y Mercado Libre ofrecen APIs que permiten la consulta de datos asociados a los productos que ofertan en sus Sitios Web, estas APIs son heterogéneas, dependiendo de la plataforma varía su forma de funcionamiento (campos mínimos para realizar una petición, campos devueltos, etc.).

En Colombia no existen bases de datos públicas asociadas a las plataformas de comercio electrónico que operan en el país, solo a través de la inspección HTML y del uso de APIs se logra la extracción automática de datos.

El diseño de scripts para la extracción de datos se debe realizar con la premisa de no sobrecargar con peticiones a los sitios objetivos, ya que usos indebidos pueden generar tráfico innecesario y penalizaciones a los dominios desde donde estos se ejecutan.

La técnica del Web Scraping es ideal para la extracción de datos desde sitios Web, pero siempre que exista una API en el sitio objetivo es mejor hacer uso de esta.

Establecer tendencias comerciales sin el acceso directo a las bases de datos donde se almacenan las transacciones es una tarea compleja, sin embargo, desde los datos publicados por las tiendas electrónicas en sus sitios Web o APIs, se pueden establecer comportamientos que evidencien estas tendencias.

Blibliografía

• Baeza, Ricardo., & Ribeiro, Berthier. Modern Information Retrieval
• Baeza-Yates, R., Calderón-Benavides, L., and González-Caro, C. The intention behind web queries
• Calderón-Benávides, Liliana. Unsupervised Identification of the User’s Query Intent in Web Search
• Kumar, Sanjay., & Rizvi, SAM. Information Extraction using Web Usage Mining, Web Scrapping and Semantic Annotation

• Lewandowski, Dirk. The Influence of Commercial Intent of Search Results on Their Perceived Relevance.
• Long, Bo., & Bian, J., & Dong, Anlei., & Chang, Yi. Enhancing Product Search by Best-Selling Prediction in eCommerce
• Ouyang, L., & Dong, R., & Zou, B. (2009). Information Extraction Based on Table Area Locating for E-Commerce Websites
• Schrenk, M. Webbots, Spiders, and Screen Scrapers; A Guide to Developing Internet Agents with PHP/CURL
• Spink, A., Jansen, B. J., Wolfram, D., and Saracevic, T. From E-Sex to E-Commerce: Web search changes