Робот SearchGo
Как SearchGo получает данные
Робот посещает открытую главную страницу сайта, чтобы обновить карточку источника и сведения в поиске. Он не входит в закрытые разделы и не запрашивает пароли.
На текущем этапе обрабатывается главная страница домена. Внутренние страницы отдельно не индексируются.
Первичные обходы распределяются по очереди. При временной ошибке возможна повторная попытка с задержкой. Плановый массовый переобход уже опубликованных сайтов пока не обещается.
Запросы представляются именем SearchGoBot/0.1, чтобы владелец мог отличить их в журнале сайта.
Правила доступа
SearchGo учитывает публичные ограничения сайта и файл robots.txt. Если страница закрыта, недоступна или вместо содержимого показывает защитную проверку, карточка не должна обновляться такими техническими данными.
Что сохраняется
После успешного обхода SearchGo может сохранить заголовок, описание, текст, favicon, контакты, ссылки, технические признаки ответа и снимок главной страницы. Автоматические заголовки, описания и тематические теги могут содержать неточности.
Как управлять присутствием сайта
Владелец может добавить сайт в кабинет вебмастера, подтвердить права и следить за состоянием обхода. Правила добавления, очереди и основания отказа приведены на странице «Индексация».
Есть вопрос об обходе?
Укажите домен и кратко опишите ситуацию — мы проверим журнал робота.
Как отличить обход от Проверки показателей
Обход обращается к главной странице и может обновить сохранённый текст, технические сведения и снимок. Проверка показателей из кабинета вебмастера — другой процесс: она не является новым посещением страницы роботом и не обновляет её текст или изображение. Дата последнего обхода и дата получения показателей поэтому могут различаться.
Если робот не получил страницу
Проверьте ответ главной страницы, доступность robots.txt, перенаправления и правила антибот-защиты. Не отключайте защиту сайта ради SearchGo: укажите домен и время ошибки на support@searchgo.ru, чтобы мы сверили журнал и выяснили причину. Обход не обещает включения сайта в поиск без модерации и успешной обработки.