Коли займаєшся SEO просуванням сайтів час від часу потрібно мати справу з файлами robots.txt. Дуже часто буває так, що туди вносяться дуже схожі дерективи. Для того, щоб не писати файл кожного разу з нуля, роблю замітку шаблону правильного файлу robots.txt для CMS WordPress :
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: raweb.net
Sitemap: https://raweb.net/sitemap_index.xml
Варто зазначити, що якщо використовується плагін Rank Math Seo, чи подібні плагіни, то вони генерують файл robots.txt автоматично і його не буде в корені сайту. Всі директиви треба вводити в меню в налаштуваннях плагіна.
Важливо! Якщо в корені сайту є файл robots.txt, наприклад, той який йде за замовчуванням у самому вордпресі, то дерективи плагіна працювати не будуть і система буде викоритовувати файл, який є в корені. Для того, щоб використовувати налаштування, які ви вносите в плагіні, потрібно видалити фізичний файл robots.txt з кореня сайту.