Hexo 博客收录指南｜生成网站地图与屏蔽规则｜全流程提交各大搜索引擎

前言

Hexo 静态博客部署上线之后，下一件最重要的事就是：让搜索引擎知道你的网站存在，并收录你的页面。

很多新手误以为：网站发布上线后，搜索引擎就会自动来爬取并收录。错。

搜索引擎对新站一向很“谨慎”——你没权重、没外链、更新频率低的情况下，搜索引擎甚至不会主动尝试抓取你的网站。

所以，如果你想让 Google、Bing、360、神马这些搜索引擎早点收录你写的文章，就得靠下面这些动作：

  • 主动提交站点
  • 提供 sitemap（站点结构图）
  • 配置 robots.txt（抓取权限说明）

准备工作

提前准备好以下平台账号，建议你用同一个邮箱注册统一管理：

另外，请确保你的网站已经部署上线，并使用的是 HTTPS 协议。

操作步骤

第一步：安装插件

Hexo 本质上只是一个静态页面生成器，它不会自动帮你生成 sitemap、robots.txt、RSS 等 SEO 所需的结构化文件。

如果你不手动处理，搜索引擎甚至不知道你的网站有几篇文章、文章结构如何。

所以第一步，我们得手动安装插件：

1
npm install hexo-generator-sitemap --save
1
npm install hexo-generator-feed --save

这两个插件的作用：

  • hexo-generator-sitemap：生成 sitemap.xml / sitemap.txt
  • hexo-generator-feed：生成 RSS 订阅用的 atom.xml

第二步：修改站点配置

打开博客根目录的 _config.yml（不是主题目录），添加下面的配置：

1
2
3
4
5
6
7
sitemap:
  path:
    - sitemap.xml
    - sitemap.txt
  rel: false
  tags: true
  categories: true
1
2
3
4
5
6
7
8
9
feed:
  enable: true
  type: atom
  path: atom.xml
  limit: 20
  content_limit: 140
  content_limit_delim: ' '
  order_by: -date
  autodiscovery: true

执行生成命令：

1
hexo cl; hexo g; hexo d

生成后的文件路径：

  • public/sitemap.xml
  • public/sitemap.txt
  • public/atom.xml

访问地址如下：

https://example.com/sitemap.xml
https://example.com/atom.xml

第三步：配置 robots.txt

robots.txt 是一个写给搜索引擎爬虫的“网站抓取说明书”。它告诉搜索引擎：

  • 哪些页面允许抓取
  • 哪些页面禁止抓取
  • 网站结构图在哪里（Sitemap）

如果你没有这个文件，爬虫会自己猜——而它不一定猜得准。

因为 Hexo 生成的是纯静态页面，我们需要手动创建 robots.txt 文件，并放到正确的位置。

1
source/robots.txt

为什么放在 source？因为 Hexo 的逻辑是：source 中的文件会被直接复制到 public。

文件内容如下：

1
2
3
4
5
6
7
User-agent: *
Allow: /

# Sitemap declarations
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap.txt
Sitemap: https://example.com/atom.xml

生成后就可以访问 https://example.com/robots.txt 看到效果了。

第四步：提交站点到各大搜索引擎

Google Search Console

建议顺手再点【URL 检查】功能手动抓取首页，加快收录。

Bing 站长平台

Bing 同时影响 Yahoo、DuckDuckGo、Ecosia 等搜索引擎，覆盖面比你想象得大。

360 搜索平台

1
source/360_verifycode123456.html
  • 提交 sitemap.xml 即可

收录很慢，但建议还是提交一次。

神马搜索

  • 地址：http://zhanzhang.sm.cn/
  • 验证方式：Meta 标签或 HTML 文件
  • 不支持 sitemap 提交，只靠爬虫主动抓取

你的博客必须是响应式布局，适配移动端！否则 UC 爬虫不抓。

效果验证 & 后续建议

完成以上步骤后，你可以通过以下方式检查：

  • 访问 example.com/sitemap.xml 是否能打开
  • 访问 example.com/robots.txt 是否生效
  • 查看各平台后台是否显示提交成功、是否开始抓取
  • 用 Google 的【URL 检查】功能手动加速首页抓取

提升收录率的额外建议：

  • 保持博客内容更新频率（哪怕每月 1 篇）
  • 多使用内链，提升页面相关性
  • 在其他平台留下你博客的外链（知乎/掘金/GitHub 等）
  • 不要一上线就删文章，保持内容稳定