На одном из сайтов создал robots.txt и запретил в нем поисковым роботам индексировать информацию. Делается это весьма просто с помощью строчки
1 2 |
User-agent: * Disallow: / |
И с чистой совестью стал дальше проверять работу сайта. Однако, тест проверки сайта на мобильность показал, что доступа к сайту нет, так как подобное прописано в роботс. Хорошо, разрешил индексирование сайта, прописав:
1 2 |
User-agent: * Disallow: |
Очень удивился, когда несмотря на разрешение индексирование тест проверки сайта на мобильность опять показал, что нет доступа. Стал грешить на хостинг, создал тикет в техподдержку, но там ответили что тут дело не в хостинге,а в том как часто обновляется информация о запрещении индексирования у гугла. Оказалось, что поисковый робот, увидев запрет его запоминает и следующий раз тест проверки на мобильность стал работать только через четыре часа.