Robots.txt для WP

Файл robots.txt необходим для поисковых роботов (яндекс, гугл и пр.), чтобы облегчить им работу, в нём можно указать какие папки, файлы и пр. нужно просматривать, индексировать для поиска, а какие нет. А так же файл содержит ссылку на карту сайта, которую обычно создаем отдельным плагином вроде XML Sitemap. Опять же, чтобы упростить работу поисковым роботам.

Расположен файл в главной папке, где находится сайт, т.е. где папка wp-admin, wp-content и пр. Проверить или прочитать этот файл, если он есть, очень просто, нужно написать адрес сайта и добавить /robots.txt. А значит можно посмотреть файл на других сайтах, себе скопировать. Необходимо только изменить имя сайта, причем нужно обязательно правильно указать адрес, если сайт работает по безопасному подключению SSL, то адрес должен быть https://… , если без SSL, то http://… Правильный адрес карты сайта можно скопировать в настройках того же плагина XML Sitemap.

Название файла XML- карты сайта может быть другим, например Rank Math SEO создает https://m-fiz.ru/sitemap_index.xml

Сильно в этом деле не копался, нашел вот такую информацию https://wp-kama.ru/id_803/pishem-pravilnyiy-robotstxt-dlya-wordpress.html, мне думается первый вариант более универсальный, поэтому его использую.

User-agent: *                  # Создаем секцию правил для роботов. * значит для всех
			      # роботов. Чтобы указать секцию правил для отдельного
			      # робота, вместо * укажите его имя: GoogleBot, Yandex.
Disallow: /cgi-bin             # Стандартная папка на хостинге.
Disallow: /wp-admin/           # Закрываем админку.
Disallow: /?                   # Все параметры запроса на главной.
Disallow: *?s=                 # Поиск.
Disallow: *&s=                 # Поиск.
Disallow: /search              # Поиск.
Disallow: /author/             # Архив автора.
Disallow: */embed              # Все встраивания.
Disallow: */page/              # Все виды пагинации.
Disallow: */xmlrpc.php         # Файл WordPress API
Disallow: *utm*=               # Ссылки с utm-метками
Disallow: *openstat=           # Ссылки с метками openstat
# Одина или несколько ссылок на карту сайта (файл Sitemap). Это независимая
# директива и дублировать её для каждого User-agent не нужно. Так например
# Google XML Sitemap создает 2 карты сайта:
Sitemap: https://m-fiz.ru/sitemap.xml
# Версия кода: 2.0
# Не забудьте поменять `o-lega.ru` на ваш сайт.

Название документа нужно писать с маленькой буквы, т.е. robot.txt, с большой если написать, то его не будет видно при проверке.