呼和浩特网络推广对于搜索引擎优化, 做好优质内容是必须的。但是只有优质内容还不够,如果搜索引擎抓取不到这个页面,那你辛辛苦苦编写的内容不是白费了吗? 确保网站可抓取,首先要检查robots.txt文件,这个文件是任何网络爬行软件到达站点时的**个调用点。 robots.txt文件会明确应该被抓取的和不应该被抓取的部分,表现为允许(allow)、禁止(disallow)某些用户代理的行为。 通过将/robots.txt添加到根域末尾,可以公开使用robots.txt文件。我们看一下Hallam网站的示例: 可以看到,Hallam网站不允许以/ wp-admin(网站后端)开头的URL被抓取。通过指明哪些地方禁止这些URL,可以节省带宽、服务器资源和爬网预算。 与此同时,搜索引擎爬虫抓取网站的重要部分时,不应该受到禁止。 因为robots.txt是爬虫在抓取网站时看到的**个文件,所以较好是将robots.txt指向站点地图。可以在旧版的Google Search Console中编辑和测试robots.txt文件。 在robots.txt的测试工具中,下面的网址栏输入任何网址,就可以检查这个网址能否被抓取,robots.txt文件中有没有错误和警告。 因为旧版的Google Search Console功能要比新版本的功能多一些,在技术SEO方面旧版本会更好用一些。 比方说,旧版本可以查看站长工具上的抓取统计信息区域(Craw Stats),对于了解网站的抓取方式会更加的方便。 这个报告有3个图表,显示了较近3个月的数据 每天抓取的网页数量、每天下载的千字节数、下载网页所花费的时间(以毫秒为单位),能够显示网站的抓取速度及和搜索引擎爬虫的关系。 搜索引擎爬虫定期访问某网站,并且这是一个快速而且容易被抓取的网站的话,这个网站就会有很高的抓取速度。 这些图表数据如果能保持一致是较好的,任何重大波动都会出问题,可能是HTML损坏,内容陈旧或robots.txt文件阻止了太多URL。 如果加载一个页面需要很长时间,表示爬虫爬取时间太长,建立索引速度较慢。 还可以在新版的Google Search Console查看覆盖率报告中的抓取错误。 呼和浩特网络推广这些地方都是有爬取问题的页面,点击可以显示这些页面。检查这些页面是什么原因导致的爬取问题,较好不是很重要的页面,尽快解决这些问题。 如果你在Craw Stats或覆盖率报告中,发现重大的抓取错误或波动,可以对日志文件进行分析查看。 从服务器日志访问原始数据可能会比较麻烦,因为分析是高级设置,但它有助于准确理解哪些页面可以被抓取、哪些不能抓取。 哪些页面会被**处理,哪些区域出现了预算浪费的情况,还有爬虫在爬取网站的过程中收到哪些服务器响应。 检查站点可编入索引 检查爬虫是否可以抓取网站之后,还要搞清楚网站上的网页有没有编入Google索引。 有很多方法可以检查这一问题,前面用到的Google Search Console覆盖报告,就可以用来查看每个页面的状态。 从这个报告中我们看到四个数据: 错误:404s重定向错误。 有效警告:已编制索引但附有警告的页面。 有效:成功编制索引的页面。 已排除:被排除在索引状态之外的页面及其原因,如重定向或被robots.txt阻止的网页。 还可以使用URL检查工具分析特定的URL。 如果某主页的流量有所下降,就该检查这个新加入的网站是不是已经编入索引,或者对这个网址进行问题排查。 还有一个好方法可用来检查网站能否索引,就是使用爬取工具,推荐Screaming Frog。 Screaming Frog是较强大、使用较普遍的爬取软件之一。它有付费版本和免费版本,可以根据网站的大小进行选择。 免费版本的功能有限,抓取的数量限于500个URL。而付费版本的年费是149英镑,有很多的功能和可用API,没有抓取限制。 运行爬取软件之后,就可以看到和索引相关的两列结果。 Indexability:可索引性,显示URL能否被编入索引,是“可索引”还是“不可索引”。 Indexability Status:可索引性状态,显示URL不可索引的原因是什么,是不是被编为了另一个URL,或是带有无索引标签。 这个工具是批量审核网站一种很好的方式,可以了解哪些网页正在被编入索引,哪些网页不可被编入索引,这些都会显示在结果中。 对列进行排序并查找异常的情况,使用Google Analytics API,能有效识别出可索引的重要页面。 最后,还可以使用这个网站检查你的页面有多少是已经索引的:domain Google Search parameter。 在搜索栏中输入site:yourdomain并按Enter键,就可以看到网站上已被Google编入索引的每个网页。 示例: 这里我们看到有大约95,000个已经索引的URL,通过这个功能我们知道Google现在存储了多少网页。 如果你的网页数量和被谷歌索引的数量差很多。 那么你应该思考: 网站的HTTP版本是否仍在编入索引? 已被编入索引的页面有没有重复的,需要规范化的? 网站的大部分内容是否应该被编入索引? 通过这三个问题,了解谷歌如何将网站编入索引,以及如何做出相应更改。 查看站点地图 SEO还有一个不能忽略的重要方面:站点地图。XML站点地图是你的网站到Google和其它搜索引擎爬虫的地图。 实际上,站点地图帮助这些爬虫给你的网页排名。 有效的站点地图有几点值得注意: 站点地图要在XML文档中正确格式化。 站点地图应该遵循XML站点地图协议。 只包含规范版本的网址。 不包含没有索引的网址。 更新或创建新页面时,要包括所有新页面。 关于站点地图的小工具: 1. Yoast SEO插件,可以创建XML站点地图。 2. Screaming Frog,它的站点地图分析非常详细。 另外,还可以在站点题图上查看网址,遗失的网址或者是少见的网址。 确保站点地图包含较重要的页面,排除不用编进Google索引的页面,并且结构要正确。完成这些操作之后,你应该将站点地图重新提交到Google Search Console。 网站要适应移动端设备 谷歌去年宣布了会**对移动端进行索引。也就是说,网页的移动端版本会**于电脑端版本,进行排名和索引,因为大部分用户主要使用移动设备进行网页访问,所以网站排名也会给移动端**的权利。 谷歌的Mobile-Friendly Test是一款免费工具,可以用来检查网页在移动端的响应和适应性。 在网址栏输入域名,就可以显示在移动设备上的呈现效果,是否适应移动设备。 当然也可以手动检查网站在移动端的适应情况,用手机浏览一个网站,检查网站的主要转化路径有没有错误。 网站上面的所有联系表格、电话号码、关键服务页面,是否都正常运行。如果你是在电脑端浏览网页的话,就可以右键单击页面,再做检查。 网页速度 网页速度现在是Google排名的一个很重要的因素,网页响应迅速也是提升用户体验度的一个很好的方式。 下面我给你们推荐一些测试网站速度的实用工具 Google PageSpeed Insights 这是谷歌的一款功能强大的工具,可以免费使用。它可以在移动端和电脑端对网站进行速度测试,进行打分,并给出提高页面速度的建议 对主页和核心页面进行测试,可以知道你的网址速度如何,采取哪些措施可以提高网速。 还有一点要提醒一下:我们说的页面速度,不仅是指某人打开网页时,加载出一个页面的速度,还包括搜索引擎抓取网页的速度和难易度。 这也是缩小和捆绑CSS和Javascript文件的原因。所以依靠肉眼检查页面加载还不够,还需要使用工具来全面地分析页面是如何加载的。 谷歌还有一款工具可以测试移动设备的网速,专门针对移动设备提高网速。 它会根据测试给出一个结果报告: 1.网站在在3G和4G网络上的速度,包括网站加载速度有多少秒,评级是多少,网站速度趋势在加快还是减慢; 2.针对每个页面的个性化修复方式; 3.网速和竞争对手的网速做对比的情况; 4.网站收入受到网速的影响情况。 Google Analytics 针对网速的问题,还可以使用Google Analytics,它可以给出提高网速的诊断建议。 打开Google Analytics,在Behaviour中找到Site Speed,可以查询出很多关于网速的有用信息,包括特定网页在不同浏览器和国家地区的加载效果。 你可以根据页面浏览量进行检查,**处理较重要的页面。 页面加载速度的因素有很多,如果你发现页面加载有问题,可以通过检查一些常规内容去修复页面: 优化图像,图像有没有压缩过; 修复膨胀的javascript; 减少服务器请求; 确保缓存有效; 检查服务器的速度快不快; 考虑使用内容分发网络(CDN) 重复内容审核 最后一项是审核网站内容有没有重复。对于做SEO的人来说,内容重复是一个很大的禁忌。 虽然说谷歌不会因为内容重复就惩罚某个网站,但是谷歌不喜欢重复文案内容,这一点是很明确的。 谷歌认为重复内容对用户是没什么用处的,所以它不会在搜索引擎排名中给有重复内容的页面很好的排名。 要检查有没有重复内容,可以使用Google search parameters进行快速查询,输入网址,在搜索结果的最后一页,如果有重复内容,就会出现以下文字: 如果这里出现了重复内容,应该再使用Screaming Frog抓取一下网站。然后按照页面标题进行排序,就可以检查网站上有哪些重复的页面。 呼和浩特网络推广搜索引擎技术优化让你的网站更加优化和健康。 以上是技术性SEO的六个方法,是网站结构优化相对基础的东西。如果你们想要在技术上做得更好,还可以继续深入。