纠结，谁动了我博客的流量？
2011年9月2日
1 条评论
从7月份开始到现在，博客空间的流量飙升的很厉害，基本上每个月都要6G左右的带宽，弄的我不断的迁移空间。但其实我个人博客的访问量并没有得到任何的提升，反而因为很久没有更新过，而掉的厉害。查看了博客流量统计，cpanel后台的流量统计，还是百思不得其解，到底谁动了我博客的流量？
1、非浏览器流量占了总流量的50%以上。
我实在搞不清楚什么是非浏览器流量，难道是搜索引擎的爬虫？
2、搜索引擎的爬虫流量显示正常。
加起来也不到300M的流量，相对于7月份5G多的流量来说，完全可以忽略不计。
3、无法得知的文件流量竟然高达2.44G。
到底什么是无法得知的文件流量？谁来告诉我一下？
4、404错误网页流量高达2.41G。
为此我特意去了趟Google管理员工具，看了一下抓取的错误信息，竟然有高达8万多条找不到的页面，而我的博客总共也怕不足100篇文章，加上其他标签页，提交的sitemaps总共才322也网址。
看到这里大家也许觉得问题已经很明显了，就是Google在索引那些错误页面造成流量的流失，解决办法就是使用robots.txt禁止Google的爬虫再去索引那些错误网页，我也是这么认为并这么处理的，但事实却依然没有得到解决，每天流量依然还是保持150M左右，相对于我博客统计后台反馈给我的信息来说，这完完全全是一个不可能达到的数字。
万能的网络，谁能帮我解决这个问题吗？
最新评论