» » » Google: мы можем индексировать контент даже без его сканирования
Google: мы можем индексировать контент даже без его сканирования

Google: мы можем индексировать контент даже без его сканирования

Дата новости2019-03-3112:27Количество просмотров 80
​Закрытые для индексации в robots.txt страницы все равно могут появиться в результатах поиска Google.

С такой ситуацией столкнулся частный сеошник, потребовав объяснений у представителей поисковой системы:

«Прокомментируйте, пожалуйста, следующее. У меня есть сайт, 100% страниц которого заблокированы в файле robots.txt. Однако в индексе Google присутствуют названия и описания этих страниц, равно как и другой контент с сайта».


Ответ сотрудника Google:
«URL-адрес, даже если он заблокирован в robots.txt, может быть проиндексирован без сканирования ботом. Обычно это происходит благодаря внешним или внутренним ссылкам, которые указывают на такой контент».

Рассказать друзьям:

НАШ ТЕЛЕФОН
+7 (3952) 615-549
ПОЧТА
insidecorp@mail.ru
НАШ АДРЕС
г. Иркутск, ул. Байкальская 105, офис 33
Заказать звонок