网站改版善用robots和404页面降低影响

广州网站改版善用robots和404页面降低影响

设置robots禁止抓取错误页面，对于一个功能完善和友好的新网站，404错误页面是必须的，但是我现在的情况光制作了404还不够。301定向太麻烦，后来想到了robots，这是网站与搜索引擎蜘蛛对话的一个重要文件，那我就在这个文件中告诉蜘蛛禁止抓取不存在的目录和网页。

查看空间访问日志发现蜘蛛主要是抓取名为mynist目录下的文件，这个目录是以前旧网站的静态网页存放目录，弄清楚就好办了，在robots文件中添加如下语句Disallow:/mynist/，意思是禁止抓取此目录下的任何文件，再仔细查看日志，将不存在的目录和页面一一添加在robots文件中。百度站长俱乐部lee提到过，robots新添加的语句并不会立即生效需要过程的，正常情况下一周内生效，所以在修改后几天内蜘蛛仍然会抓取已禁止的页面是正常的。

制作404页面在醒目位置要明确注明“访问的页面已经不存在，您可以返回×××网站首页进行浏览你所需要的内容”，并在这段说明中加入首页地址链接来引导用户，一方面可以降低用户流失，另一方面可以和搜索引擎蜘蛛对话，告诉蜘蛛这是一个错误的的地址。许多朋友将404错误页面跳转到首页，二老猫认为这是存在风险不可取的，会被搜索引擎误认为做弊导致首页降权。

404错误页的测试

页面制作好以后，命名为404.htm或者其它后辍传入网站根目录（由于个别虚拟空间要求不一样可详细查看空间说明和询问主机商），上传完成后在虚拟主机管理面板上设置自定义404错误页路径。传上去后还没有完事，有更重要的工作，那就是测试404错误页面的有效性。

许多网站提供“http状态查询”，输入一个不存在的页面和或目录然后检测，当返回状态码为404说明是有效的，如果不存在的路径返回状态码为200那就需要注意，说明你的设置无效或者你的主机自定义404错误页面有问题，需要联系主机商解决。下图为正确设置了404错误页面返回的状态码。

此文《网站改版善用robots和404页面降低影响》由三行网络公司原创，转载请保留原文链接，谢谢！
关键词标签：广州网站改版善用robots和404页面降低影响    (PC+手机)响应式网站建设

• 饰品网站建设,饰品网站设计栏目风格规划
• 荔湾区网站设计,企业网络发展受限原因分析
• 越秀区网站设计,如何妥善经营网站
• 海珠区网站设计,怎样体现企业网站价值
• 天河区网站设计,url结构之Google..
• 天河区网页设计公司,如何建设一个成功的网..
• 网站改版——如何掌握细节：不影响网站排名
• 白云区网站设计,企业建站的作用
• 校验Flash网站设计3大告知，使之符合..
• 用水泵网站来分析做网站的优化过程
• 如何吸引蜘蛛抓取网页,实现网站内容秒收录
• 网站设计需知XML和HTML网站地图区别
• 百度多次调整算法内容重要性比例飙升
• 建立一个有灵魂的企业网站,应该怎样做
• 公司网页视觉设计要达到用户愉悦使用的目的