Робот SearchGo
Как SearchGo получает данные
Робот посещает открытую главную страницу сайта, чтобы обновить карточку источника и сведения в поиске. Он не входит в закрытые разделы и не запрашивает пароли.
На текущем этапе обрабатывается главная страница домена. Внутренние страницы отдельно не индексируются.
Повторные посещения распределяются по очереди. При временной ошибке следующая попытка выполняется с задержкой.
Запросы представляются именем SearchGoBot/0.1, чтобы владелец мог отличить их в журнале сайта.
Правила доступа
SearchGo учитывает публичные ограничения сайта и файл robots.txt. Если страница закрыта, недоступна или вместо содержимого показывает защитную проверку, карточка не должна обновляться такими техническими данными.
Что сохраняется
После успешного обхода SearchGo может сохранить заголовок, описание, текст, favicon, контакты, ссылки, технические признаки ответа и снимок главной страницы. Автоматические заголовки, описания и тематические теги могут содержать неточности.
Как управлять присутствием сайта
Владелец может добавить сайт в кабинет вебмастера, подтвердить права и следить за состоянием обхода. Правила добавления, очереди и основания отказа приведены на странице «Индексация».
Есть вопрос об обходе?
Укажите домен и кратко опишите ситуацию — мы проверим журнал робота.