sitemap和robots.txt是SEO最基础也最容易被忽视的两个文件——一个告诉搜索引擎”我有哪些页面”,一个告诉它”哪些能抓、哪些别抓”。配置对了收录顺畅,配置错了(尤其robots误封)可能让整站从搜索结果消失。本文一次讲透。
一、两者的作用与区别
- sitemap(网站地图):一个列出你网站所有重要页面URL的文件,相当于给搜索引擎蜘蛛的一张地图,帮它高效发现和抓取你的页面,尤其利于新站和结构深的站;
- robots.txt:放在网站根目录的规则文件,告诉蜘蛛哪些目录/页面可以抓、哪些禁止抓,是给蜘蛛的”通行规则”。
一个是”这是我的页面清单”,一个是”这些地方请勿入内”。
二、robots.txt怎么写?
放在 你的域名/robots.txt,基本语法:
User-agent: * # 对所有搜索引擎蜘蛛
Disallow: /wp-admin/ # 禁止抓取后台目录
Disallow: /tmp/ # 禁止抓取临时目录
Allow: / # 允许抓取其他所有
Sitemap: https://你的域名/sitemap.xml # 顺便告知sitemap地址常见规则:后台、登录页、临时文件、重复内容页(如筛选参数页)可以Disallow,重要内容页保持可抓。在robots里写上Sitemap地址是个好习惯,蜘蛛会顺着找到你的地图。
三、致命错误:robots误封整站(必看)
这是新手最容易犯、后果最严重的错误。下面这两行会让整站从搜索引擎消失:
User-agent: *
Disallow: / # 禁止抓取所有页面!整站无法被收录!很多建站程序在”开发/未上线”模式下会自动加这条(WordPress的”建站期间阻止搜索引擎”选项就是),上线后一定要检查并解除。如果发现网站怎么都不收录,第一件事就是查robots.txt有没有误封(参考博客百度收录篇)。
四、sitemap怎么生成?
- WordPress:装SEO插件(Rank Math、Yoast等)自动生成并更新sitemap,省心,推荐;
- 其他CMS:多数有sitemap插件或内置功能;
- 静态站/自定义:用在线生成工具或脚本生成 sitemap.xml。
sitemap要保持更新——发布新内容后sitemap应自动包含新URL,插件方案会自动处理。
五、提交给搜索引擎
光有sitemap不够,要主动提交:
- 百度:百度搜索资源平台 → 提交sitemap;配合主动推送(API)收录更快(参考博客百度收录篇);
- 谷歌:Google Search Console → 站点地图 → 提交sitemap URL;
- 提交后在平台可查看抓取和索引状态,监控收录进度。
六、常见问题排查
- sitemap提交报错:检查URL是否可访问、格式是否正确、是否被robots封了;
- 页面不收录:先查robots有没有误封、页面有没有被加noindex标签、sitemap有没有包含该页;
- 抓取失败:可能是服务器不稳定或慢,蜘蛛抓取超时——优质线路和稳定服务器是收录的底层保障(参考博客收录与服务器相关篇)。
结论
sitemap和robots.txt是SEO的地基:sitemap帮蜘蛛发现页面、robots规范抓取范围。配置不难,但robots误封整站是必须避开的致命坑——上线后务必检查。这两个文件配好、提交到位,才谈得上后续的排名优化。服务器层面,稳定优质的主机能保证蜘蛛顺利抓取,是收录的隐形前提。更多SEO与收录内容,欢迎浏览机器云博客的SEO专题系列。
