User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-json
# запрещаем индексацию страницы входа и регистрации
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
# запрещаем индексацию системных папок
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
# запрещаем индексацию трекбеков, rss-ленты
Disallow: /trackback
Disallow: /feed
Disallow: /rss
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: /xmlrpc.php
# запрещаем индексацию архива автора
Disallow: /author*
# запрещаем индексацию постраничных комментариев
Disallow: */comments
Disallow: */comment-page*
# запрещаем индексацию результатов поиска и другого возможного "мусора"
Disallow: /*?*
Disallow: /*?

# прописываем директиву Host
Host: prosensor.ru

Sitemap: https://www.prosensor.ru/sitemap_index.xml