On se fait webscraper, tous aux abris ?

Fin de semaine dernière, le monitoring de notre plate-forme nous alerte : un robot a commencé à webscrap notre webapp B2C. Et là… un large sourire apparaît sur mon visage 😊

Le webscrap c'est quoi ?

C’est simple sur le principe et je vais le schématiser : on programme un robot qui va effectuer des devis en masse sur un site web pour récupérer les tarifs. Ça peut servir à plusieurs choses mais la plupart du temps on s’en sert pour analyser le tarif de la concurrence. Et dans le business des startups , croyez-moi, c’est un sport de compétition. Tout le monde essaye de le faire mais… Personne ne l’avouera.

Dans la pratique, le webscrap n’est pas compliqué à mettre en œuvre. Il existe différentes manières de faire mais usuellement on laisse une machine « tourner » dans un coin avec un robot qui utilise un navigateur de type Chrome. Ça requiert des connaissances techniques et statistiques. Et au passage un juriste si on se fait attraper ! Le webscrap n’est pas « illégal » mais il est toléré tant que l’on ne fait pas tomber la plate-forme du concurrent (qui peut s’apparenter à du DDOS).

On fait quoi face au webscrap ?

Les réactions face au webscrap sont multiples et variées :

-Souvent la plate-forme qui subit le webscrap ne s’en aperçoit pas. Il y a bien une augmentation de l’activité mais l’IT n’a pas les moyens techniques de l’identifier ou de le contrer.

-La contre-mesure la plus simple est de bannir l’adresse IP qui exécute le webscrap (mais l’utilisation aussi simple d’un VPN réduit à néant le bannissement).

-Une contre-mesure plus efficace encore est d’ajouter des éléments dans le parcours client comme un reCAPCHAR (on pose des questions qu’un robot aura extrêmement du mal à répondre) mais ça complexifie le parcours client et donc sa fluidité ou son accessibilité.

-Il est possible de détecter un pattern de webscrap (par exemple on détecte toutes les X minutes un devis qui est réalisé avec toujours +1 à l’âge). On organise ensuite le blocage de l’appelant mais il est également possible d’envoyer de fausses informations pour tromper l’analyse et induire en erreur.

Et chez Assurly, comment on gère ça ?

La question s’est posée au sein de la team au sujet de la contre-mesure et nous avons tranché pour… laisser le robot faire son « travail ». Ça peut paraître étrange mais je vais expliquer notre décision :

Déjà si on se fait webscrapper c’est que le marché nous observe et nous prend très au sérieux. C’est un honneur qui nous est fait (merci !).

Ensuite, notre produit nous appartient : nous l’avons conçu haut de gamme (avec des garanties et couvertures rarement vues) et à un tarif extrêmement compétitif. Et comme nous vivons réellement nos valeurs (transparence, prix juste, simplicité, qualité) nous ne voulons donc rien cacher. Le marché demande plus d’éthique et chaque acteur doit travailler en ce sens, que ce soient les banques, les comparateurs, les courtiers, les assureurs.

Enfin, c’est un formidable test grandeur nature d’analyse de performance de notre plate-forme, puisque grâce à ces plusieurs milliers de requêtes qui stressent cette dernière, nous obtenons des indicateurs  sur son comportement pour l’améliorer continuellement. Et au passage je rassure nos clients, notre infrastructure est robuste et sécurisée.  Vos données sont bien à l’abri dans un environnement sécurisé version bunker ;-).

Nota Bene : Pour être totalement honnête, nous laissons faire dans les limites du raisonnable. Pour le moment c’est wait & see comme on dit dans la tech.

J’aime l’idée de penser qu’il n’y a pas de bonnes ou de mauvaises data (le web scrap est de la data en soi : que regarde le robot, d’où vient-il, qui le lance, quand, l’induit-on en erreur etc..). Toute donnée sert à améliorer notre système et au final l’expérience client. Un peu comme un Amazon qui te rembourse et ne te demande pas de renvoyer le produit.

C’est ce qui nous drive chez Assurly : l’innovation continue au service de nos clients. N’est-ce pas cela l’assurance transparente au prix juste ? Nos clients nous font confiance, nous leur faisons confiance. Alors reprenez le pouvoir et rejoignez-nous !