WordPress分类目录和标签页404错误的bug修复

遇到一个比较奇怪的bug:按照分类目录或者标签筛选文章时,部分标签和分类无法正常显示(404)错误,但是该分类或标签下确实存在相应文章。

怀疑是伪静态或者中文分类和标签名的问题。但是通过控制变量[……]

继续阅读

快速使用Scrapy爬虫模拟cookies登录爬取页面

使用Scrapy爬虫读取网页时,如果目标数据是需要登录才能查看的页面,就需要处理cookies信息。很多人因此安装了其他更多的工具来处理cookies,其实仅凭Scrapy本身就可以完美实现爬取需要登[……]

继续阅读

python3.7下执行scrapy crawl命令SyntaxError: invalid syntax报错的解决方案

在win10环境下用python3.7写网页爬虫,采用scrapy1.5库时,执行一下命令:

scrapy startproject tutorial

可以正常创建项目文件,但是配置文件修改完毕,[……]

继续阅读

使用javascript产生无限循环document.location跳转的browser响应分析

我对javascript的windows对象十分熟悉,常用的document对象在处理页面url跳转和使用DOM技术操作页面元素(文档对象模型)时会使用到。该对象常用的有关域名或URL的属性或方法如下[……]

继续阅读