→ Mūsu roboti

CoreDigify roboti

Ja savas lapas žurnālā redzi kādu no šiem, tas esam mēs:

• CoreDigifyAudit/1.0Kāds ir pieprasījis šīs lapas auditu (ātrdarbība, drošība, sīkdatnes). Nāk tikai tad, kad audits ir pieprasīts.
• CoreDigifyBot/1.0Publiski pieejamu uzņēmumu lapu apskate: vai lapa strādā, vai ir HTTPS, kāda sistēma, publicētie kontakti.

Kā mēs uzvedamies

• CoreDigifyBot ievēro robots.txt, arī Crawl-delay (līdz 30 s).
• Vienai lapai — ne biežāk kā reizi dažās sekundēs; vienam serverim — ne biežāk kā reizi sekundē, arī ja uz tā ir daudz lapu.
• Atbilde 429 vai 503 ar Retry-After — gaidām norādīto laiku. Ja lapas aizsardzība mūs aptur, tajā dienā vairs nenākam.
• Lasām tikai sākumlapu un vienu lapu, uz kuru tā pati norāda (kontakti / rekvizīti). Neminam adreses, nepieslēdzamies, neaizpildām formas, neizmantojam ievainojamības.
• Sīkdatņu pārbaudē CoreDigifyAudit noklikšķina tikai uz sīkdatņu joslas pogām «Piekrītu» vai «Noraidīt».

Kā atteikties

No CoreDigifyBot — pievieno savam robots.txt:

User-agent: CoreDigifyBot
Disallow: /

No visām pārbaudēm, arī CoreDigifyAudit — pieprasīto auditu robots.txt neaptur, jo to ir lūdzis cilvēks. Raksti uz info@coredigify.com, norādot domēnu: izslēgsim to un tā apakšdomēnus no visām pārbaudēm, arī no tām, ko pieprasa citi.