Google搜寻引擎透过爬虫Crawler为页面上的内容进行排名，若你的内容页面设定为「禁止访问」，或是使用javascript产出网页内容，那么爬虫将难以将其列入索引编制。
技术上来讲，工程师会利用Robots.txt这只档案来限制搜寻爬虫可索引的档案，如果误操作，可能就会爬虫无法访问网站的某些页面，也将影响网站的可见性。
使用Google Search Console中的「检查网址」功能轻松检查页面是否完全可被搜寻引擎索引：