QuelSalonDeJardinBot, notre robot de collecte

Le robot se présente toujours avec ce User-Agent, et seulement celui-là :

quel-salon-de-jardin.com est un comparateur de salons de jardin, édité par Bastien Hugon EI.

Le robot relève les prix et les caractéristiques des produits pour les afficher dans le comparateur. Chaque offre affichée renvoie vers la page du marchand.

• Il lit des pages publiques : le fichier robots.txt, les plans de site, des pages de listes et des fiches de mobilier de jardin.
• Il passe une fois par nuit.
• Il envoie une seule requête à la fois par site, et attend au moins 3 secondes entre deux requêtes. Si votre robots.txt indique un Crawl-delay plus long, c'est lui qui s'applique.
• Il ne lit pas deux fois la même page dans la journée. Un plafond quotidien de requêtes par site borne sa collecte.
• Quand le serveur le permet, il envoie des requêtes conditionnelles : une page inchangée n'est pas téléchargée de nouveau.
• Il relit votre robots.txt au plus toutes les 24 heures et l'applique avant chaque requête.

• Il ne lit aucune page interdite par votre robots.txt. Si ce fichier est inaccessible, il considère que tout le site est interdit.
• Il ne se connecte à aucun compte, ne remplit aucun formulaire, n'ajoute rien à un panier.
• Il ne contourne aucune protection. Une page de vérification ou un refus (codes 401, 403, 451) n'est suivi d'aucune nouvelle tentative, et il ne change ni d'identité ni d'en-têtes.
• Sur un code 429, il attend le délai demandé par l'en-tête Retry-After et ne réessaie qu'une fois.
• Il s'arrête de lui-même : après 3 refus de suite, ou plus de 20 % d'erreurs sur ses dernières requêtes, la collecte est suspendue sur votre site. La suspension dure 24 heures la première fois, puis 3 jours, puis 7 jours. Au-delà, elle ne reprend que sur décision d'une personne.

Le plus simple est une règle à son nom dans votre fichier robots.txt. Pour l'exclure de tout le site :

QuelSalonDeJardinBot is the crawler of quel-salon-de-jardin.com, a French price-comparison website for garden furniture. Once a night, it reads public listing and product pages of the online shops it follows, in order to display their prices and specifications with a link back to the shop.

• It obeys robots.txt, re-read at most every 24 hours, and honours Crawl-delay. If robots.txt cannot be fetched, it treats the whole site as disallowed.
• It sends one request at a time per site, at least 3 seconds apart, and does not fetch the same page twice in a day.
• It does not log in, submit forms, or work around any protection.
• After 3 consecutive refusals (HTTP 401, 403, 451, repeated 429, or a challenge page), it stops crawling the site on its own.
• To slow it down or exclude it, add a rule for "QuelSalonDeJardinBot" to your robots.txt: it is applied within 24 hours. You can also write to us: contact@quel-salon-de-jardin.com.