Бот працює з сайтами повторно, намагаючись знайти будь-які зміни на сторінці ресурсу або знайти його нові УРЛи. Вміст сторінок, що пройшли рендер, зберігається і є доступним для пошуку в Google. Інші нові посилання надсилаються до списку посилань для сканування.

Керування Googlebot

Google дає варіанти способів контролю сканування та індексування.

До методів контролю сканування відносять:

1. Файл robots.txt, який дозволяє спостерігати за скануванням.
2. Атрибут Nofollow вказує на посилання, яке не потрібно сканувати. Однак робот може проігнорувати його, оскільки це лише підказка.
3. Google Search Console, а саме його інструмент Зміни швидкості сканування, який дає можливість зробити сканування пошуковою системою повільніше.

Методи контролю індексування:

1. Видалення контенту. Якщо зробити видалення сторінки, то просто не буде що індексувати.
2. Обмеження доступу до сторінки. Google не має увійти на сайт, тому будь-яка наявність захисту або авторизації не дозволить системі побачити вміст.
3. Атрибут Noindex. Він показує пошуковим роботам, що ця сторінка не повинна індексуватись.
4. Файл robots.txt (для зображень) – блокування Googlebot Image призведе до того, що Ваші фотоматеріали не підлягатимуть індексуванню.

Чи точно це Googlebot

Велика кількість SEO-інструментів та шкідливих роботів зображають із себе Googlebot. Це допомагає їм мати доступ до ресурсів, які намагаються провести їхнє блокування.

Раніше необхідно було пройти перевірку DNS для підтвердження того, що Ви справді маєте справу з Googlebot. Але в недалекому минулому компанія Google значно спростила вимоги та розмістила перелік IP-адрес для підтвердження. Тепер потрібно порівнювати їх із інформацією на сервері.

Також можна скористатися Google Search Console, зайшовши до статистики сканування. Ця сторінка містить велику кількість даних про сканування Гуглом Вашого ресурсу. Докладно можна побачити, який робот проводив сканування конкретних файлів.