DeepBeeBot — официальный поисковый робот сервиса ДипБип, предназначенный для анализа веб-сайтов.
Основная информация
User-Agent Поисковый робот Анализ сайтов
Mozilla/5.0 (compatible; Deepbeepbot /1.0; +https://deepbeep.ru/bot.html)
Цель работы
DeepBeeBot сканирует веб-сайты для:
- Анализа содержимого главной страницы
- Поиска и анализа внутренних страниц
- Извлечения мета-информации
- Предоставления сводной информации пользователям ДипБип
Особенности работы
- Соблюдение правил: Робот уважает правила, указанные в robots.txt
- Ограниченная нагрузка: Задержки между запросами для снижения нагрузки
- Четкая идентификация: Ясное указание User-Agent и цели сканирования
Для веб-мастеров
Как запретить сканирование DeepBeeBot?
Добавьте в файл robots.txt вашего сайта:
User-agent: Deepbeepbot
Disallow: /
Рекомендации по robots.txt
Если вы хотите разрешить сканирование с ограничениями:
User-agent: Deepbeepbot
Disallow: /admin/
Disallow: /private/
Crawl-delay: 2
Технические детали
- Версия: Deepbeepbot/1.0
- Тип: Поисковый робот для анализа
- Поддерживаемые протоколы: HTTP, HTTPS
- Кодировки: UTF-8, Windows-1251, ISO-8859-1