¿Nos convertimos en webscraper, todos a cubiertas?

El fin de semana pasado, el sistema de monitorización de nuestra plataforma nos alertó: un robot había comenzado a extraer datos de nuestra aplicación web B2C. Y entonces… se me dibujó una gran sonrisa en la cara 😊.

¿Qué es el webscrap?

El principio es sencillo y lo voy a explicar de forma esquemática: se programa un robot que realiza presupuestos en masa en un sitio web para recopilar las tarifas. Esto puede servir para varias cosas, pero la mayoría de las veces se utiliza para analizar las tarifas de la competencia. Y en el mundo de las startups, créanme, es un deporte de competición. Todo el mundo intenta hacerlo, pero… nadie lo admite.

En la práctica, el webscrap no es complicado de implementar. Hay diferentes maneras de hacerlo, pero normalmente se deja una máquina «funcionando» en un rincón con un robot que utiliza un navegador tipo Chrome. Requiere conocimientos técnicos y estadísticos. Y, por cierto, ¡un abogado si te pillan! El webscraping no es «ilegal», pero se tolera siempre y cuando no se derribe la plataforma del competidor (lo que podría equipararse a un DDOS).

¿Qué hacemos ante el webscrap?

Las reacciones ante el webscrap son múltiples y variadas:
-A menudo, la plataforma que sufre el webscrap no se da cuenta. Se produce un aumento de la actividad, pero el departamento de TI no dispone de los medios técnicos para identificarlo o contrarrestarlo.
-La contramedida más sencilla es bloquear la dirección IP que ejecuta el webscrap (pero el simple uso de una VPN anula el bloqueo).
-Una contramedida aún más eficaz es añadir elementos al recorrido del cliente, como un reCAPCHAR (se plantean preguntas que un robot tendrá mucha dificultad para responder), pero esto complica el recorrido del cliente y, por lo tanto, su fluidez o accesibilidad.
-Es posible detectar un patrón de webscrap (por ejemplo, se detecta cada X minutos un presupuesto que se realiza siempre con +1 en la edad). A continuación, se organiza el bloqueo de la llamada, pero también es posible enviar información falsa para engañar al análisis y confundirlo.

¿Y cómo se gestiona esto en Assurly?

El equipo se planteó la cuestión de las contramedidas y decidimos… dejar que el robot hiciera su «trabajo». Puede parecer extraño, pero voy a explicar nuestra decisión:

En primer lugar, si nos webscrapean es porque el mercado nos observa y nos toma muy en serio. Es un honor (¡gracias!).

En segundo lugar, nuestro producto es nuestro: lo hemos diseñado para que sea de alta gama (con garantías y coberturas poco habituales) y a un precio muy competitivo. Y como realmente vivimos nuestros valores (transparencia, precio justo, simplicidad, calidad), no queremos ocultar nada. El mercado exige más ética y todos los actores deben trabajar en este sentido, ya sean bancos, comparadores, corredores o aseguradoras.

Por último, se trata de una formidable prueba a gran escala del rendimiento de nuestra plataforma, ya que gracias a los miles de solicitudes que la someten a estrés, obtenemos indicadores sobre su comportamiento para mejorarla continuamente. Y, por cierto, quiero tranquilizar a nuestros clientes: nuestra infraestructura es robusta y segura. Sus datos están bien protegidos en un entorno seguro, como un búnker ;-).

Nota bene: para ser totalmente sinceros, dejamos hacer dentro de unos límites razonables. Por el momento, es esperar y ver, como se dice en el mundo tecnológico.

Me gusta pensar que no hay datos buenos o malos (el web scrap es datos en sí mismo: lo que ve el robot, de dónde viene, quién lo lanza, cuándo, si se induce a error, etc.). Todos los datos sirven para mejorar nuestro sistema y, en última instancia, la experiencia del cliente. Un poco como Amazon, que te devuelve el dinero y no te pide que devuelvas el producto.

Eso es lo que nos impulsa en Assurly: la innovación continua al servicio de nuestros clientes. ¿No es eso un seguro transparente a un precio justo? Nuestros clientes confían en nosotros y nosotros confiamos en ellos. ¡Recupera el control y únete a nosotros!