robots.txt 模板
要从模板生成 robots.txt 文件,请更改站点配置
hugo。
enableRobotsTXT: true
enableRobotsTXT = true
{
"enableRobotsTXT": true
}
默认情况下,Hugo 使用嵌入式模板生成 robots.txt。
User-agent: *
遵守 Robots Exclusion Protocol 的搜索引擎会将此解释为允许抓取站点上的所有内容。
robots.txt 模板查找顺序
您可以使用自定义模板覆盖内部模板。 Hugo 使用以下查找顺序选择模板
/layouts/robots.txt
/themes/<THEME>/layouts/robots.txt
robots.txt 模板示例
layouts/robots.txt
User-agent: *
{{ range .Pages }}
Disallow: {{ .RelPermalink }}
{{ end }}
此模板为站点上的每个页面创建一个带有 Disallow
指令的 robots.txt 文件。遵守 Robots Exclusion Protocol 的搜索引擎将不会抓取站点上的任何页面。