在公司发展还没有那么成熟的时候，也许你的测试网站是外网可以公开访问的，也许你网站中的机密图片在测试环境（不小心上到正式环境）却被搜索引擎无情抓取，以及有些内部用户才能使用的网址，你并不想被搜索引擎抓到。
这时候，就要祭出Google SEO 搜索中心了。
文档阅读：
Google搜索中心
重点：
- 首先进行网站所有权验证，可以通过HTML文件和Meta标签两种方式。
- 将测试、正式网站都验证上，之后可以进行Google搜索的管理。
测试网站 / 不想被搜索引擎收录的网址
参考文档：
从 Google 搜索结果中移除您网站上托管的网页
robots.txt 简介
- 紧急在 【编制索引-删除】的这个菜单中申请移除。（1天内受理，管用6个月）
- 永久有效：然后在网站上增加robots.txt文件，它规定了搜索引擎抓取工具可以访问网站上的哪些网址
User-agent: *Disallow: /user
Disallow: /*/user
- 但是这样有个问题，测试网站是需要全部禁止、正式网站只禁止几个网页，在robot.txt中无法识别测试还是正式，因此需要其他的灵活设置方式。可以使用
noindex或者X-Robots-Tag
使用 noindex 阻止搜索引擎编入索引
// 为防止支持 noindex 规则的所有搜索引擎将您网站上的某个网页编入索引，并将以下 <meta> 标记添加到网页的 <head> 部分：
<meta name="robots" content="noindex">
// 若想仅阻止 Google 网页抓取工具将网页编入索引，请使用以下元标记：
<meta name="googlebot" content="noindex">
- 因此，综上，noindex方式将安置在测试网站的所有页面，而robot.txt记录正式网站中不希望被搜录的网址。
不想被搜索引擎收录的图片
从搜索结果中移除您网站上托管的图片
- 在 【编制索引-删除】的这个菜单中申请移除。（1天内受理，管用6个月）
- 然后使用使用 robots.txt 规则移除图片，比如：
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg// 移除全部图片（测试环境之类的）
User-agent: Googlebot-Image
Disallow: /
- 更灵活的配置方式，设置响应头：X-Robots-Tag，这需要为每张图片配置上。当然最好的方式是直接不允许外网访问，这样就不用为每张图片配置了。
不过我们的图片一般存储在OSS上，我不了解，也不清楚怎么给OSS配置这个响应头。
X-Robots-Tag:"noindex, nofollow"
SEO规范网址
为重复的页面选择正确的规范网址
// 在想要规范合并的重复页面上增加这个标记头：
<link rel='canonical' href='' />
例如，在 /checkout1，/checkout2，/checkout3 页面中的 < head> 标签中添加以下标签：
<link rel="canonical" href="https://www.example.com/checkout" />
这样搜索引擎就会认为 /checkout 页面是主要页面，而 /checkout1、 /checkout2和 /checkout3 页面是重复内容，并且只会索引 /checkout 页面。
SEO结构化数据
结构化数据：在搜索引擎页面中展示出商品的简要信息，甚至包括产品简介、产品评分、产品图片等。
参考文档：结构化数据
<html><head><title>Executive Anvil</title><script type="application/ld+json">{"@context": "https://schema.org/","@type": "Product","name": "Executive Anvil","image": ["https://example.com/photos/1x1/photo.jpg","https://example.com/photos/4x3/photo.jpg","https://example.com/photos/16x9/photo.jpg"],"description": "Sleeker than ACME's Classic Anvil, the Executive Anvil is perfect for the business traveler looking for something to drop from a height.","sku": "0446310786","mpn": "925872","brand": {"@type": "Brand","name": "ACME"},"review": {"@type": "Review","reviewRating": {"@type": "Rating","ratingValue": "4","bestRating": "5"},"author": {"@type": "Person","name": "Fred Benson"}},"aggregateRating": {"@type": "AggregateRating","ratingValue": "4.4","reviewCount": "89"},"offers": {"@type": "Offer","url": "https://example.com/anvil","priceCurrency": "USD","price": "119.99","priceValidUntil": "2020-11-20","itemCondition": "https://schema.org/UsedCondition","availability": "https://schema.org/InStock"}}</script></head><body></body>
</html>
