Краулер Radar

RadarBot посещает сайты продуктов, связанных со знакомствами. К таким продуктам относятся, например, площадки знакомств и инструменты для работы с анкетами и перепиской. Для существующих карточек RadarBot проверяет доступность сайтов и отслеживает изменения на главных страницах и страницах с ценами.

В дальнейшем RadarBot будет искать новые продукты для каталога и проверять их сайты. Редакция Radar решит, какие продукты добавить в каталог.

Как узнать краулер в логах

В заголовке User⁠-⁠Agent краулер представляется как RadarBot/1.0.

Если хотите уточнить, принадлежит ли запрос Radar, пришлите время запроса, IP⁠-⁠адрес и User⁠-⁠Agent на hello@radar.dating.

Как ограничить обход сайта

Чтобы закрыть весь сайт для краулера Radar, добавьте эти строки в robots.txt. Краулер может использовать сохранённые правила до 24 часов.

User-agent: RadarBot
Disallow: /

Для владельцев сервисов

Вы можете предложить свой сайт для каталога в любое время, независимо от того, посещал ли его RadarBot. Редакция Radar рассмотрит вашу заявку. Она решает, какие карточки публиковать, в том числе для сайтов, которые посетил краулер.

Открыть форму добавления сайта

У вашего сайта уже есть карточка? Подтвердите права на карточку.

Межплатформенная сеть знакомств „Перевал“ помогает пользователям подключённых площадок знакомиться друг с другом в приложениях и на сайтах, которыми они уже пользуются. Подключите свой сервис к сети „Перевал“.