Как четем публичните сайтове

Всички наши заявки носят User-Agent „Mozilla/5.0 (compatible; AgentStorefrontBot/1.0; +https://storefront.fleetq.net/crawler)“. Така е и при каталозите, и когато четем страниците на сайт за профил. По него ни разпознавате в дневниците на сайта си.

Четем само през публичните адреси, които виждат и посетителите: страници на продукти, търсачката на сайта и публично достъпните каталожни интерфейси, които самият сайт ползва. Някои магазини зареждат каталога си от търсачка на трета страна. Тогава четем същата публична заявка, която сайтът прави за посетителите, и тя отива към домейна на тази услуга.

Преди да отворим страница, от която съставяме текста на профила, четем robots.txt на сайта. Спазваме правилата за „AgentStorefrontBot“, а ако такива няма, правилата за всички роботи („*“). Страница, която robots.txt забранява, не отваряме.

Каталога на магазина четем при въпрос от агент, през публичната търсачка или каталожния интерфейс, който самият сайт ползва. При някои магазини това означава да отворим страницата с резултати от търсенето, страницата на продукта, за който агентът пита, или началната страница, за да прочетем менюто с категории. Когато магазинът се добавя, веднъж проверяваме началната му страница и каталожния интерфейс, за да разберем дали можем да четем каталога на живо. За всички тези заявки robots.txt още не се проверява; правилото по-горе важи за страниците, които четем, за да съставим текста на профила.

Ако не искате да четем сайта ви, кажете ни през страницата за отказ от описание. Ще скрием магазина от директорията и от търсенето във всички магазини и ще спрем да четем сайта ви.

Към каталога на един магазин изпращаме най-много една заявка в секунда. Изключение е supermag.bg: там паузата е 250 милисекунди, защото едно търсене чете 32 списъка. Ако сайтът отговори с 429 или със сървърна грешка, изчакваме 1, 2 и 4 секунди и пробваме отново.

За профил четем най-много 8 страници от един сайт.

Резултатите от търсене се пазят до 1 час, така че повтарящи се въпроси не стигат до магазина всеки път.

Не отваряме страници за кошница, поръчка, потребителски профил и вход. Не влизаме в акаунти, не подаваме форми и не поръчваме от името на никого.

Адреси във вътрешни мрежи са блокирани.

Показваме име, цена, наличност и връзка към страницата на магазина, винаги със source_url и час на проверката. Клиентът бива насочен към магазина, за да купи там.

За магазин, който не е поет от собственика, не приемаме поръчки и не се представяме за магазина.