021-56330526 微博 微信

寺库网页面抓取调整方案

作者:夏易网络 时间:2018-09-18 分类:SEO营销 评论:评论已关闭 浏览:301

 

好啦,作战方案完成,团队布局完成,接下来开战咯,属于执行力部分了。

上海优化公司在项目开始,出的第一个方案是《寺库网页面抓取调整方案》

 

Seo网络优化

寺库网页面抓取调整方案

目录

一、www页面 1

1、屏蔽一搜和宜搜搜索引擎抓取 1

2、屏蔽栏目抓取 1

3404页面提交 1

二、list页面 2

1、屏蔽一搜和宜搜搜索引擎抓取 2

2404页面提交 2

三、item页面 2

1、屏蔽一搜和宜搜搜索引擎抓取 2

2、屏蔽栏目抓取 2

3404页面提交 2

 

一、www页面

1、屏蔽一搜和宜搜搜索引擎抓取

一搜蜘蛛:YisouSpider

宜搜蜘蛛:EasouSpider

2、屏蔽栏目抓取

2.1屏蔽栏目URL为数字的URL抓取

如/0/、/81/等栏目都需要屏蔽,具体有哪些,还请技术在网站数据库中查询;

2.2屏蔽/soldout/栏目抓取

通过后台查询,发现这类URL带来的搜索流量很少,占用的蜘蛛抓取过多,故屏蔽

3、404页面提交

针对www页面的404更新到现有的404页面sitemap中,并在百度站长工具中的死链提交手动更新

二、list页面

1、屏蔽一搜和宜搜搜索引擎抓取

一搜蜘蛛:YisouSpider

宜搜蜘蛛:EasouSpider

2、404页面提交

针对list页面的404更新到现有的404页面sitemap中,并在百度站长工具中的死链提交手动更新

三、item页面

1、屏蔽一搜和宜搜搜索引擎抓取

一搜蜘蛛:YisouSpider

宜搜蜘蛛:EasouSpider

2、屏蔽栏目抓取

屏蔽栏目/recommendCache/、/uploads/old_pic/

3、404页面提交

针对item页面的404更新到现有的404页面sitemap中,并在百度站长工具中的死链提交手动更新

本文来自:http://www.xiayiseo.com/, 上海seo优化公司

转载请保留本文地址:http://www.xiayiseo.com/zixun/1449.html,除特别声明,本站内容均为原创!