WordPress的网站根目录下其实并没有 robots.txt 文件,但我们却能访问,这是WP系统动态生成的,但我们一样可以修改。Super Fast SEO插件就有 robots.txt 设置,修改后比原来的更为详细。
设置方法:
复选框打勾保存。
未开启此功能,默认的文件内容为:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.geekercode.com/wp-sitemap.xml
开启生成后内容为:
User-agent: *
Disallow: /*?*
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/cache
Disallow: /wp-content/themes/*
Disallow: /wp-content/plugins/*
Disallow: /trackback
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.geekercode.com/wp-sitemap.xml