DentalWorkBot — robot DentalWork.pl

DentalWorkBot to robot serwisu DentalWork.pl. Odwiedza publiczne strony gabinetów stomatologicznych, żeby odczytać ceny podstawowych zabiegów z cennika (nazwa zabiegu i kwota) do wyszukiwarki dentystów. Przy każdej cenie podajemy link do strony gabinetu i datę pobrania.

Jak się przedstawia

Nagłówek User-Agent:

DentalWorkBot/1.0 (+https://dentalwork.pl/bot)

Tym samym nagłówkiem przedstawiają się nasze zapytania do publicznych rejestrów (RPWDL, API NFZ), z których pochodzi lista gabinetów.

Co robi, a czego nie

Odwiedza tylko strony gabinetów — adres strony pochodzi z rejestru RPWDL albo od gabinetu.
Na jednej stronie gabinetu czyta stronę główną i najwyżej 3 podstrony z cennikiem.
Każdą domenę odwiedza najwyżej raz na 30 dni, w nocy, z przerwą co najmniej 5 sekund między żądaniami (dłuższą, gdy tak każe Crawl-delay).
Przed pobraniem czyta robots.txt (raz na dobę) i przestrzega reguł dla DentalWorkBot oraz *.
Respektuje zastrzeżenie eksploracji tekstu i danych (TDM): <meta name="tdm-reservation" content="1">, nagłówek tdm-reservation, plik /.well-known/tdmrep.json oraz noindex i noarchive. Takiej strony nie przetwarza.
Nie uruchamia JavaScriptu, nie wysyła formularzy, nie loguje się, nie zapisuje ciasteczek i nie pobiera plików PDF.
Zapisuje tylko pary „nazwa zabiegu — cena” z najwyżej 10 kategorii, bez opisów, zdjęć i układu strony. Kopię strony usuwa po 30 dniach.
Po kilku kolejnych błędach serwera przestaje odwiedzać domenę na 90 dni.

Jak zablokować robota

Dopisz do pliku robots.txt w katalogu głównym strony:

User-agent: DentalWorkBot
Disallow: /

Robot przestanie pobierać strony najpóźniej po dobie (tak długo pamięta robots.txt). Możesz też napisać na [email protected] — dopiszemy domenę do listy wyłączeń. Ceny z karty gabinetu usuniesz przez formularz dla gabinetów.

Kontakt

Pytania o robota i zgłoszenia nadużyć: [email protected].