获取动态加载数据的方法现在越来越多的网页都已经演变为 SPA 页面，而且越来越多的网站采用了各种 JavaScript 混淆和加密技术， 这使得 JavaScript 逆向难度变得很大，Ajax 接口模拟爬取也变得越发困难，因此模拟浏览器爬取不失为一个不错的爬取方案。 Selenium、Pyppeteer、Puppeteer 等可以模拟浏览器来进行爬取，也可以使用 Scrapy + Selenium 和 Pyppeteer 来实现动态爬取。 Scrapy 2.0+ 中支持了异步 async 的特…
分类详情
爬虫 分类