robots.txt
Файл в текстовом формате, содержащий специальные предписания для роботов поисковой системы, например запрещает или разрешает индексацию тех или иных частей сайта. robots.txt всега записывается в корневую папку сайта.
Файл в текстовом формате, содержащий специальные предписания для роботов поисковой системы, например запрещает или разрешает индексацию тех или иных частей сайта. robots.txt всега записывается в корневую папку сайта.
