网站上线前检查什么?域名、robots 与 Meta 标签

2026-10-15约 8 分钟站长工具涉及 4 个工具

本地一切正常,上线后却收不到流量 —— 这类问题大多出在四件事上:域名快过期了、robots.txt 把爬虫挡住了、线上渲染跟本地不一样、搜索结果的标题描述没写对。这篇给出逐项自检的做法。

核心要点
  • 域名到期时间是上线前的硬性检查项,域名一旦过期,站点、邮箱、第三方验证会同时失效且很难追回
  • robots.txt 里一条写错的 Disallow 就能把整站挡在搜索引擎之外,而且它管的是爬虫而非用户,你自己访问不会发现
  • 本地预览和线上真实渲染经常不一致,CDN、字体加载、相对路径都可能导致差异,用整页截图核对才可靠
  • 搜索结果里的标题和描述由 meta 标签决定,长度不合适的部分会被直接截断
  • 各标签的推荐长度:title 约 30 个汉字以内、description 约 78 个汉字以内、OG 图建议 1200×630
  • canonical 与 OG 标签要写绝对地址,写相对路径会导致社交平台抓不到缩略图

#上线前必须确认的四件事

站点上线前的自检集中在四件事上:域名还有效、爬虫能进来、线上渲染正确、搜索结果好看。 这四项各自独立,任一项出问题都不会在本地暴露。

四项里最容易被忽略的是前两项 —— 它们不影响你自己访问网站,所以「我这边看着正常」完全无法说明问题。

检查项出问题的表现用什么查
域名有效期某天突然全站失效Whois 查询
爬虫可抓取性收录长期为零robots.txt 检测
线上真实渲染本地正常、线上错位网页截图
搜索结果呈现标题描述被截断Meta 标签生成

#域名到期时间是硬性检查项

域名过期会导致站点、企业邮箱、以及所有依赖域名验证的第三方服务同时失效,而且过期后的赎回期费用很高。

用 Whois 查询 输入域名,可以一次看到四项关键信息:

  • 注册商:续费要通过哪家
  • 创建时间:判断域名历史
  • 到期时间:核心指标,工具会直接算出剩余天数
  • 域名状态:clientTransferProhibited 表示禁止转移,属于正常的防劫持锁
注意

到期时间写在 Whois 里,但没有任何机制会提醒你续费。把到期日提前 30 天记进日历,比出事后花高价赎回划算得多。域名状态里出现 pendingDelete 或 redemptionPeriod 时,说明已经进入删除或赎回流程,处理窗口很短。

#robots.txt 最容易误伤自己

robots.txt 是给爬虫看的规则文件,用户访问不受它影响 —— 所以你写错了自己完全感觉不到,只会发现收录量一直上不去。

它的语法只有几条,但每条都能造成全站屏蔽:

# 错误:Disallow 写成了路径前缀,把整个 /api 之外的都放行了?
User-agent: *
Disallow: /

# 正确:只挡后台和搜索结果页,其余放行
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /
Sitemap: https://example.com/sitemap.xml

用 robots.txt 检测 可以同时做两件事:解析规则分组,以及用指定爬虫的身份检测任意 URL 是否允许抓取。

要点

规则匹配是「最长匹配优先,Allow 优先于同长度的 Disallow」。所以 Disallow: / 加 Allow: /public/ 的结果是「只有 /public/ 能抓」,其余全挡 —— 只写 Disallow: / 一条,就等于拒绝整站收录。

排查时可以按顺序确认:User-agent: * 是否覆盖了 Googlebot;有没有一条 Disallow: /;Sitemap 地址是不是绝对 URL。这三条覆盖了绝大多数误伤。

#用截图核对线上真实效果

本地预览与线上渲染不一致是常态,原因包括 CDN 注入、字体加载时序、资源相对路径、以及服务端返回的额外脚本。

常见的差异来源:

  • CDN 在 </body> 前注入统计脚本,可能影响页面高度
  • 字体的 font-display 行为导致首屏文字短暂不可见
  • 资源路径大小写敏感(Linux 服务器上 /Img/ 与 /img/ 是两个目录)
  • 服务端压缩、缓存头或重定向改变了响应内容

用 网页截图 按桌面与移动端两种宽度各截一张整页图,对着本地预览比一遍,差异会很直观。移动端尤其值得看 —— 很多溢出问题只在窄屏出现。

#Meta 标签决定搜索结果长什么样

搜索结果里显示的标题和描述不是搜索引擎自己写的,而是直接取自页面的 meta 标签(没有时才自行摘录)。

用 Meta 标签生成 填写字段后会实时生成完整标签组,并给出搜索预览与长度建议。它生成的标签包括:

标签作用长度参考
title搜索结果标题约 30 个汉字内
description搜索结果描述约 78 个汉字内
canonical声明规范 URL必须绝对地址
og:*社交平台分享卡片图片建议 1200×630
twitter:card推特卡片类型常用 summary_large_image
JSON-LD结构化数据按页面类型选用
技巧

分享卡片不显示图,九成是 og:image 用了相对路径。社交平台的爬虫不会在你站内解析相对地址,必须写完整的 https:// 开头地址。

#什么时候该用哪个工具

你想做的事用哪个说明
查域名注册信息与到期日Whois 查询基于 RDAP 协议,含剩余天数
确认某个 URL 允许被抓取robots.txt 检测支持通配符与按爬虫身份检测
看线上页面真实长什么样网页截图桌面/平板/移动端与整页/首屏
补齐 SEO 标签Meta 标签生成含 OG、Twitter Card、JSON-LD
检查页面返回状态HTTP 状态码确认没有意外的 404 或 301 链

上线检查的顺序建议是:先域名(最不可逆),再 robots(影响最大),然后截图(最直观),最后 Meta(可随时补)。

#常见问题

#域名过期后还能抢救吗?

能,但有时间限制和费用。过期后通常先进入宽限期(可原价续费),再进入赎回期(费用远高于正常续费),最后是删除并可能被他人抢注。具体天数由注册局规则决定。看到状态变成 redemptionPeriod 就要立刻处理,不要再等。

#robots.txt 写错了会影响现有人工访问吗?

不会。robots.txt 只约束遵守协议的爬虫,用户通过浏览器访问完全不受影响。这也是它危险的地方 —— 站点看起来一切正常,只是搜索引擎不再收录。改完后可以在搜索平台后台用「抓取测试」复核,或重新提交 sitemap 加速恢复。

#Disallow 和 noindex 有什么区别?

Disallow 在 robots.txt 里,是「不要来抓这个地址」,页面仍可能因外链出现在索引里;noindex 写在页面的 meta 标签里,是「抓到了也别收录」,需要爬虫先抓到才能生效。想彻底不让某页出现,两者要配合使用。

#为什么本地截图和线上截图不一样?

常见原因是 CDN 注入脚本、字体加载时序、以及资源路径大小写。还有一个容易忽略的点:本地如果直接双击 HTML 用 file:// 打开,很多依赖相对路径与网络请求的功能会表现异常,必须用本地 HTTP 服务预览才有可比性。

#description 写多少字最合适?

中文约 78 字以内、英文约 160 字符以内。超出部分会被搜索引擎截断,等于白写;过短则显得信息量不足。写的时候把核心结论放前半段,因为移动端展示得更短。用 Meta 标签生成 的预览可以直接看到截断位置。

本文提到的工具

相关文章