https://pro.nethouse.ru/nastroyka-fayla-robots-txt
Настройка файла robots.txt - Для предотвращения ошибок сканирования сайта
Настройка файла robots.txt вашего сайта, чтобы предотвратить ошибки сканирования и повысить его видимость в поисковых системах.
robots txt