Как часто google проверяет robots.txt

На одном из сайтов создал robots.txt и запретил в нем поисковым роботам индексировать информацию.  Делается это весьма просто с помощью строчки

И с чистой совестью стал дальше проверять работу сайта. Однако, тест проверки сайта на мобильность показал, что доступа к сайту нет, так как подобное прописано в роботс. Хорошо, разрешил индексирование сайта, прописав:

Очень удивился, когда несмотря на разрешение индексирование тест проверки сайта на мобильность опять показал, что нет доступа.  Стал грешить на хостинг, создал тикет в техподдержку, но там ответили что тут дело не в хостинге,а в том как часто обновляется информация о запрещении индексирования у гугла. Оказалось, что поисковый робот, увидев запрет его запоминает и следующий раз тест проверки на мобильность стал работать только через четыре часа.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

*

code