Генерация robots.txt в WordPress без плагина

Последнее изменение: 21.06.2022 в 00:57

Сегодня robots.txt – важный файл в составе каждого сайта и как же хорошо когда его генерация выполняется без использования тяжеловесных и тупых плагинов.

Robots.txt необходим для установки параметров индексирования сайта поисковыми роботами. Таким образом можно существенно снизить нагрузку на сайт, исключая обход роботом неважных разделов сайта.

Нижеприведенный код генерирует правильный robots.txt для сайта, созданного в CMS WordPress. Код необходимо вставлять в файл function.php активной темы.

## ГЕНЕРАЦИЯ ROBOTS.TXT
function set_robots_txt( $text ) {	
	$text = 'User-agent: *
	Host: ' . get_site_url() . '
	Sitemap: ' . get_site_url() . '/wp-sitemap.xml
	Allow: /
	Disallow: /wp-admin
	Disallow: /wp-includes
	Disallow: /wp-content/plugins
	Disallow: /wp-content/themes
	Disallow: /wp-json
	Disallow: /search
	Disallow: /author
	Disallow: /tag
	Disallow: /*?*';
	return str_replace( "\t", '', $text );
}
add_filter( 'robots_txt', 'set_robots_txt' );

Если в корне сайта присутствует физический файл robots.txt, то веб-сервер по умолчанию отдаст приоритет ему и функция не сработает, что логично.

Подробнее о файле robots.txt здесь.