主营业务:竞价账户代运营 | 品牌开拓者 

网络营销策划

添加微信号:juzhuoyx,免费学习网络营销

知名客户

上海伊轩专业美容护肤?#34892;?/p>

杭州隐龙投?#39318;?#35810;有限公司

自贡天翔陶业制品有限公司

江?#31449;?#27888;仪器仪表有限公司

杭州高振电器设备有限公司

北京上隆华亚制衣有限公司

ZG卡吧

上海邦湖实业有限公司

镇江市王家老太餐饮管理有限公司

北京润文翻译公司

三亚提拉米苏婚纱摄影有限公司

广州广美教育培训?#34892;?/p>

杭州禾座贸易有限公司

北京最印象科?#21152;?#38480;公司

苏州博航体育用品有限公司

武汉黑马骑士驾校

北京财智聚教育科?#21152;?#38480;公司

河北邯郸现代丽人医院

南京四新科?#21152;?#29992;研究所有限公司

辽宁大连龙摄影

北京迈动科技

杭州心心缘公关联谊有限公司

济南硕安电子技术有限公司

江西美邦实业发展有限公司

北京西藏中青旅

合肥锦浩电子科?#21152;?#38480;公司

四川中华期刊网

武汉绝一味餐饮管理有限公司

天津铁木易新涂料科?#21152;?#38480;公司

云南丽江品摄影

甘肃超琪美容美发

北京中国国际旅行社

上海石顿企业管理咨询有限公司

武汉市汉口电炉公司

上海铠沃阀门有限公司

杭州畅聚科?#21152;?#38480;公司网站

山东中旺牧业发展有限公司

广州旭普医疗科?#21152;?#38480;公司

上海庆工机械设备制造有限公司

江苏普洱网络

秘奥软件科?#21152;?#38480;公司

郑州森塔化工有限公司

秦?#23454;?#24066;施乐办公设备有限公司

杭州圆梦教育咨询有限公司

北京乾养?#23186;?#24247;科?#21152;?#38480;公司

上海泓昶艺术品展览有限公司

湖南启志传媒有限公司

北京六度教育

深圳市嘉卡智能科?#21152;?#38480;公司

许昌金铭玉语珠宝有限公司

深圳市千百年投?#39318;?#35810;有限公司

深圳市千百顺投?#39318;?#35810;有限公司

杭州神途网络科?#21152;?#38480;公司

北京零捌个科?#21152;?#38480;公司

西安品味轩餐饮企业管理有限公司

杭州赛德甲状腺病医院

陕西倾城映像婚纱摄影

深圳市融通才智管理咨询有限公司

杭州中?#38382;?#21697;有限公司

北京大瀚律师事务所

苏州市经济技术进修学院

江苏永冠动力设备有限公司

上海语翼外教

河北省沧州金骏桩基管业有限公司

北京山脉户外商城

四川恒立餐饮管理有限公司

云南海外国际旅行社

汽?#21040;?#28246;网

昆明龙摄影婚纱摄影

广州昊爱玩具有限公司

掌门神安检门

上海投智企业管理咨询有限公司

广州云印信息科?#21152;?#38480;公司

?#36130;?#21439;辰隆五金丝网厂

上海智硕投资管理有限公司

联系聚卓

杭州聚卓营销策划有限公司
咨询热线: 400-667-0113
固定电话: 0571-87803343
企业Q  Q: 营销策划咨询点击这里给我发消息
营销策划咨询点击这里给我发消息
营销策划咨询点击这里给我发消息
企业微信: juzhuoyx
咨询邮箱: [email protected]
官方网站: http://www.2f5x.net
联系地址: 杭州市拱墅区远洋国际A座609室

SEO优化

当前位置: 主页 > 专家见解 > SEO优化 >

怎么看蜘蛛是否爬行你的网站

 文章来源:聚卓营销 时间:2014-06-17 16:19 点击:
分享到:
    我们通常在优化的时候,很多新的站长朋友都不会去看网站日志的,其实网站日志里可以了解到很多的东西,比如说蜘蛛在你的网站爬行了哪个页面,什么时间到你的网站进行抓取的,抓取了哪个页面以及抓取情况。而且我们在日志里还能看到不同搜索引擎的蜘蛛来访问你的网站,因此我们就可以看到蜘蛛在你网站里做了什么。对于一些刚刚接触seo的朋友来讲,学会怎么看蜘蛛爬行你的网站是很重要的,现在我们也有很多?#30475;?#30340;工具可以对这些蜘蛛进行分析,但是基础的你还是要去了解的,下面我就来为大家介绍。
 
    想要学会看蜘蛛在你网站做什么我们首先就要对各大搜索引擎的蜘蛛进行了解,不同的蜘蛛它的名字也是不一样的,他们在抓取网页的时候会发送一个请求,这个请求中就包含一个User-agcnt字段,它的用途是给这个网络蜘蛛做一个标识,确定这个蜘蛛的身份,那么常见的蜘蛛有:
 
    百度蜘蛛:Baiduspider
 
    google蜘蛛:googlebot
 
    yahoo蜘蛛:slurp
 
    alexa指出:ia_archiver
 
    有到蜘蛛:YodaoBot和OutfoxBot
 
    搜狗蜘蛛:sogou spider
 
    SOSO蜘蛛:sosospider
 
    360蜘蛛:360spider
 
    以上?#36884;?#26159;比较常见的蜘蛛名字了,那么下面我们就要了解蜘蛛在你网站具体做了哪些事情,首先我们来看这样一段代码:
 
    [26/Dec/2013:01:32:15 +0800] "GET /silian.txt HTTP/1.1" 304 - "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" jz182.com text/plain "/usr/home/hmu145206/htdocs/silian.txt"  222.216.190.14
 
    我们要看一下有下划线的?#19988;?#37096;?#37073;?#23427;给我们的意思就是百度蜘蛛在2013-12-26  01:32:15爬过了/silian.txt这个页面,而后面状态码显示的是304就是说你这个页面没有更新过。
 
    我们再来看下一段代码:
 
    [26/Dec/2013:03:10:21 +0800] "GET /service/sed/?wangmeng HTTP/1.0" 200 16981 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" jz182.com text/html "/usr/home/hmu145206/htdocs/service/sed/index.html"  222.216.190.8
 
    我们看下划线的部?#37073;?#23427;表示的意思是百度蜘蛛在2013-12-26 03:10:21 来你的网站爬过,而“GET”是表示抓取到的意思,等于蜘蛛抓取的是这个页面“/service/sed/?wangmeng ” ,“200 16981 ”表示的意思是正常获取了16981个字节,200协议代表了请求完成,发现了这个页面并且已入库的意思,“222.216.190.8 ”这个是表示百度的IP地址。
 
    通过上面的介绍相信我们对怎么看蜘蛛是否爬行你的网站有了一定的了解了吧,我们学会了看网站日?#24452;?#25105;们做SEO来说是有很大?#20040;?#30340;,只有这样我们才知道怎么样去优化网站更好,而不是每天重复着那几样工作,不管有没?#34892;?#26524;我们都不知道,那这就失去了做优化的意义了。
 本文关键词:蜘蛛 | 路径 |
分享到:

相关文章

聚卓首页 | 关于聚卓 | 服务项目 | 成功案例 | 客户见证 | 专家见解 | 媒体报道 | 联系聚卓  

杭州聚卓营销策划有限公司 备案号:浙ICP备13001297号-1

服务热线:400-667-0113 电话:0571-87803343 ?#26102;啵?10015

地址:杭州市拱墅区远洋国际A座609室

 竞价托管咨询点击这里给我发消息   品牌传播咨询点击这里给我发消息   营销策划咨询点击这里给我发消息
曼联皇马43全场录像
盛兴秒速时时开奖号码 牛牛群如何抽水 vr赛车 云南时时官方 中国福网老时时 澳门威尼人网上娱乐 极速时时app 赛车app下载 52开奖网PK10 辽宁省十二选五开奖 湖北十一选五计划 网上卖斗牛挂被骗 新时时彩数据遗漏 苏州体彩11选5一定牛 欧赔初赔决定比赛结果 群英会顺一遗漏查询